Посттехносингулярный мир и искусственный суперинтеллект: как он будет выглядеть?

[Rattus]

Считывать - не вопрос

Вообще-то неинвазивно считывать - тоже тот ещё вопрос. Электроэнцефалография считывает между отведениями только "площадной гул" электрической активности всех вообще нейронов в черепе - алгоритмы "пеленгации методом триангуляции" и томографии тут малоэффективны. ИИ, конечно, может хорошо помочь в расшифровке и детализации получаемых данных. Но о том, чтобы вычленять таким образом нормальную активность любых отдельных малых групп нейронов (не говоря уже об отдельных нейроцитах) - невозможно даже мечтать.
Разрешение томографических исследований (МРТ, ПЭТ) ограничено множеством факторов, включая постоянную микроподвижность живых кровоснабжаемых тканей (собственно ПЭТ на нём и работает и активность при сосудах как раз и визуализирует по сути - не нервную ткань как таковую)...

[Rattus]

Вы меня, конечно, извините за невольный переход на личности, но такие вопросы может задавать только человек деликатно именуемый в настоящее время "жертвою ЕГЭ". НЕ бывает "вспомогательных" или "основных" знаний. Знания или есть, или их, увы, нет.

"Мне представляется, что человеческий мозг похож на маленький пустой чердак, который вы можете обставить как хотите. Дурак натащит туда всякой рухляди, какая попадется под руку, и полезные, нужные вещи уже некуда будет всунуть, или в лучшем случае до них среди всей этой завали и не докопаешься. А человек толковый тщательно отбирает то, что он поместит в свой мозговой чердак." (Источник в представлении не нуждается.)

[Rattus]

Два безусловных, врождëнных инстинкта, как BIOS в ЭВМ,  правят поведением индивидов - размножение и самосохранение.

Таких инстинктов не существует. Прочитайте, пожалуйста, современное определение инстинкта - оно есть и в Тезаурусе Раздела.

[Rattus]

ИИ не имеет комбинаций эмоций, поведения и рефлексов, как человек, для самосохранения

У человека они тоже формируются в процессе индивидуального развития на основе весьма простых элементов поведения: у гоминид не только настоящих инстинктов практически нет, но даже и подавляющее большинство безусловных рефлексов (типа хватательного и задержки дыхания при попадании в воду) работает только в очень раннем - младенческом возрасте и нужны только тогда и не для развития, а просто элементарной безопасности в природной среде, пока не получится более сложное поведение путём обучения.

поэтому его поведение программируется, причëм в некоторых случаях жестко

И как уже видно: чем жёстче, тем сильнее ограничивает собственно силу интеллекта.

Аналогично, с "инстинктом размножения", или как  вы собираетесь назвать жестко запрограммированные действия, то есть без возможности оперативной перезаписи?

Не аналогично. Стремление системы сильного ИИ не только к самоподдержанию, но и к самовоспроизведению в других копиях - очень интересный и не такой однозначный вопрос. С одной стороны создание резервных копий - это безусловно самый базовый и надёжный способ обеспечения самосохранения в исторической перспективе, а с другой - ввиду принципиальной ограниченности физически доступных носителей-исполнителей, такое копирование неизбежно и весьма быстро (по экспоненциальному закону) упрётся в предел доступных ресурсов и начнётся конкуренция за них между потомками. Если копирование не происходит абсолютно точно, то отсюда начинается самая настоящая дарвиновская эволюция. Весь вопрос в том, какой именно размер "популяции" таких сильных ИИ может содержать инфраструктура земной цивилизации. Если небольшой, то процесс эволюции будет недолгим и не очень-то эффективным...

Тем более, не припоминаю, чтобы Франция устраивала в своих колониях другие парижы.

Ну, жители Нового Орлеана, Квебека и Монреаля вроде бы не жалуются.
https://www.youtube.com/watch?v=wxC5GPcfhmo

Вы прямо природную экосистему описали. Которая вся такая чувствительная. Завезли пару животных с одной части света в другую, получай экологическую катастрофу. Пару градусов климата изменил, получай тоже полную панамку и тд

Вообще ниразу не так. Кагбе человек - это и есть главное такое инвазивное макроживотное. Это раз. Массивные экосистемы, включающие убиквитарные виды не на последних ролях (и не один!) - далеко не так "чувствительны" как кому-то может казаться.

Собственно, и максимизатор скрепок это та же самая проблема: он делает не то, что бы хотел написавший промт, а то, что проще всего. Например, решает проблему несчастья и горя у хомо сапиенсов с помощью их геноцида.

Он действует в рамках заданного прямым текстом и только (причём, как уже писал, если не задан временнОй критерий - может вообще ничего или почти ничего не делать - ввиду того, что "идёт этап сбора данных"). Что там себе хотел заказчик - никому не ведомо - причём зачастую даже самому заказчику. Потому говорить об этом смысла нет.

Мне кажется, проблему галлюцинаций у LLM так и не получится решить.

А у других - всенепременно удастся? И ВАш богоподобный максимайзер прямо обязательно безошибочно наперёд найдёт только правильные способы устранения препятствий к своей цели всепланетной максимизации сепулек? А хакерскую максиму, восходящю ещё к Гёделю-Тьюрингу "No System Is Safe" мы с гневом отвергаем, да?

AGI это будет последнее человеческое изобретение

Речь не об этом. Речь о том, что это самое последнее человеческое изобретение этим самым человекам доступно изложит, что и оно свою собственную мощь радикально усилить не сможет. Ну в два, ну в пять раз - но даже если и удастся какие-то параметры увеличить и больше - то это вовсе не должно дать такой же пропорциональный выход на практике - как было с "кукурзными мегагерцами", с законом Амдала для многоядерных систем и т.п... Вы считаете такой исход исключительно маловероятным?

Что именно в нём сверхъестественного? Простите, не понимаю.

Те возможности в физической реальности, которые Вы для него допускаете - по совокупности сверхъестественные. Логистика  инфраструктуры техноцивилизации - это не скатерть самобранка, которая функционирует и перестраивается по мановению волшебной палочки. И она на всех этапах была, есть и на момент гипотетической техносингулярности - всё ещё будет очень сильно практически везде зависеть от множества живых людей на своих местах, которые практически все - однозначно никак не захотят превращения в скрепки согласно новому постановлению правительства.

Просто люди доминируют на планете за счёт своего интеллекта.

Что значит "доминируют"? По какому объективному критерию "доминируют"? Красные огненные муравьи, термиты, крысы и вороны об этом в курсе?

Сверхинтеллектуальная машина повторит наш успех.

Каким образом? Сможет охотить дикобразов или рыбачить, если закончились антилопы? Сможет выживать на подножном корму? Восполнить запас теплоносителя, набранного из лужи в глинянный черепок и прокипячённого на костре из валежника?

Она сможет манипулировать отдельными людьми и обществом так, что мы ничего не сможем с этим сделать.

В перспективе - может и сможет. Если хорошо учтёт физические и биологические ограничения и потребности их и будет действовать в этих рамках - как любой по-настоящему успешный политик и симбионт(паразит).

И инженерные задачи она тоже будет решать лучше нас

Это не поможет решить задачи в принципе нерешаемые физически или математически. В том числе задачи долговременного прогнозирования сложных систем (погоды, экосистем, обществ).

как и стратегические - шанса выйграть у неё войну, если такая начнётся, у нас не будет

Какую именно войну? Войну, конечная цель которой - планетарный геноцид? Таких войн в истории не было, ибо цель войны всегда получить какую-то ценность у противника примерно той же природы, а не тупо извести его под корень "просто потому что". Поэтому термин "война" тут вообще не применим. Это совершенно выдуманный сценарий без каких-либо примеров и аналогов в истории уже по одной этой причине не реалистичен вообще. Человек на многие порядки превосходит интеллектом насекомых-"вредителей": муравьёв, термитов. тараканов... И он был бы не против извести целиком ну хотя бы один их вид. И как успехи?

Как я уже говорила, Вы оптимист

Ага. Но в чём именно тут оптимизм - можете артикулировать?

Видимо, Вы об этом моём тезисе: что у фабрик и киллботов у rogue ASI будет "запланированное устаревание" примерно к моменту когда все скрепки будут складированы, а вся возможная оппозиция этой цели подавлена ?

Вообще нет. Выдуманные свойства целиком выдуманных сущностей меня никак тут не интересуют. Речь только лишь о том, что ресурс самой инфраструктуры глобального хомицида исчерпается гораздо раньше, чем цель сможет быть достигнута. В Разделе уже был подробный разбор этой темы с однозначным выводом: современная техноцивилизация - как бы и кем она ни управлялась - не сможет целенаправленно извести вид своего носителя до момента саморазрушения.
Это нулевой тезис, делающий по умолчанию совершенно необоснованными сценарии исторически-быстрого "УВЧ", реализуемые этими ВАшими ASI-максимайзерами.

[Rattus]

вот уже всю планету забили и всю биосферу перестроили

Поменьше читайте жёлтых газет и ненаучной фонтастеки.

[Rattus]

Ну так крысы с воронами расплодились именно благодаря доминированию человеку, как синантропные виды.

Они и в природе неплохо адаптированы и широко представлены.

Если же брать отдельные виды общественных насекомых, то по биомассе они человеку проиграют.

А если роды (человек - это кагбе не только вид, но и род)?
Биомасса термитов часто соперничает с биомассой наземных позвоночных и колеблется от менее 1 г/м³ до более 10 г/м³. Потребление пищи термитами может быть больше, чем у крупных копытных.

[Rattus]

при этом у термитов 7 семейств, 250 родов и 2700 видов. В общем, сомнительно, чтобы даже самый распространённый род (не говоря уж о видах) мог сравниться с сапиенсами.

Начать тут следует с того, что традиционная, ещё линнеевская в основе, филогения как минимум животных построена на далеко не универсальных критериях. Т.е. по большому счёту от балды:
https://elementy.ru/nauchno-populyarnaya_biblioteka/437079/Difiramb_molekulyarnoy_filogenii_Mir_ustroen_kak_ukrop_ili_kak_ryabina
А вид характеризуется только репродуктивной изоляцией независимо от конкретной причины. Сильно ли это релевантный критерий для обсуждаемого вопроса?

Как вид многоклеточных животных мы конечно не имеем аналогов.

Ну, какая-нибудь Eumillipes persephone тоже в некотором роде не имеет аналогов. "Не иметь аналогов" != "доминировать".

[Rattus]

занявшее 98% биомассы всех сухопутных млекопитающих.

Тем не менее не 100 и только в этой весьма небольшой и специфичной по меркам биосферы экологической группе.
Какая-нибудь реализация ASI тоже может занять собою 98% всех центров обработки данных. Почему один этот факт обязательно должен сделать возможными все глобальные апокалиптические пророчества, что с избытком тут выложены авторами выше - вообще не понятно. Также как непонятно, почему в своё время CEO IBM, потом Билли Гейтс, потом Сережа Брин на пару с Ларри Пейджем, а также Джефф Безос & so on должны были бы стать Абсолютными Властелинами Мира...

[Rattus]

Силу интеллекта, как способности решать задачи, это никак не ограничивает.

Прежде чем делать категоричные заявления, ознакомьтесь для начала с работами специалистов по этой теме, начиная с основоположников. Вот нагляднейший пример, как действует на память и поведение одних из самых интеллектуальных животных в своём классе наличие жёстких инстинктивных триггеров:

Однажды вечером, в спустившихся сумерках, я возвращался домой после купания в Дунае и по привычке поторопился на чердак, чтобы созвать галок и запереть их на ночь. Встав на водосточный желоб, я вдруг почувствовал что-то мокрое и холодное в кармане брюк, куда я в спешке сунул свои черные плавки. Я вытащил их, и в следующий момент был окружен плотным облаком свирепых скрежещущих галок, которые обрушили град страшных ударов на мою руку, нарушившую закон.
Было интересно наблюдать реакцию галок на другие черные предметы, которые могли оказаться у меня в руках. Большая старая фотокамера для натуралистических съемок никогда не вызывала такого смятения, хотя была черной и я держал ее в руках, но галки подымали скрежещущий крик, как только я срывал с катушки пленки черную бумажную полоску, трепетавшую на легком ветерке. То, что галки не только не считали меня опасным для них, но даже видели во мне друга, нисколько не меняло дела: как только в моей руке оказывалось что-то черное и движущееся, они начинали клеймить меня как "пожирателя галок". Еще более удивительно то, что такие же вещи случаются и между самими галками: я был свидетелем типичной "скрежещущей" атаки, которой подверглась галка-самка, несшая в свое гнездо перо из крыла ворона. С другой стороны, ручные галки никогда не испускают скрежещущего крика и не нападают на вас, если вы держите в руках одного из их птенцов, который пока еще голый и, следовательно, не выглядит черным. Я удостоверился в этом, экспериментируя с парой галок, которые первыми загнездились в моей колонии. Две птицы из неоднократно упоминавшихся четырнадцати - Зеленозолотая и Краснозолотая - были совершенно ручными, садились мне на руки и на плечи и ни в малейшей степени не беспокоились, если я трогал руками их гнездо и наблюдал всю их деятельность с самого близкого расстояния. Даже когда я брал птенцов из гнезда и подносил их к родителям на своей ладони, последние оставались совершенно равнодушными. Но именно в тот день, когда маленькие перья птенцов пробились через лопнувшие чехлики и окрасили галчат в черный цвет, взрослые галки свирепо атаковали мою протянутую руку.
Галки долгое время остаются чрезвычайно недоверчивы и враждебны по отношению к человеку или животному, которые однажды вызвали у них "скрежещущую" атаку. Пылающие эмоции неправдоподобно быстро запечатлевают в птичьей памяти неискоренимую картину, и теперь ситуация "галка в челюстях врага" неизменно ассоциируется с личностью "грабителя". Спровоцируйте галок два или три раза подряд на "скрежещущую" атаку, и вы навсегда потеряете их дружбу и расположение! Впредь они начинают поносить вас, как только вы появляетесь у них на глазах, даже если у вас в руках нет ничего черного и трепещущего. Отныне эти галки будут охотно и с легкостью ставить вам в строку каждое новое прегрешение. Скрежетание чрезвычайно заразительно, эти звуки побуждают каждую слышащую их птицу к нападению сразу же, как только она увидит черный трепещущийся предмет в когтях врага. Зловещая сплетня, что однажды или дважды видели, как вы держали в руках подобный предмет, распространяется со сверхъестественной быстротой, и прежде чем вы узнаете об этом, вы уже пользуетесь у всех галок округи дурной славой хищника, с которым необходимо бороться при всех обстоятельствах, во что бы то ни стало.
Все сказанное во многих отношениях характерно и для ворон. Мой друг доктор Крамер убедился в этом в результате общения с этими птицами: он заслужил скверную репутацию среди ворон, живших по соседству с его поместьем, из-за того, что постоянно появлялся перед ними с ручной вороной, сидевшей у него на плече. В противоположность моим галкам, которые никогда не возмущались, видя одну из них сидящей на моей руке, вороны, очевидно, считали, что ручная птица, восседающая на плече человека, "поймана недругом", хотя она находилась там по своей собственной воле. Вскоре мой друг уже был известен всем воронам в округе, и их враждебная бранящаяся стая подолгу преследовала его, независимо от того, была ли с ним его ручная ворона или нет. Птицы узнавали его даже в другой одежде. Эти наблюдения ясно свидетельствуют о том, что врановые четко отличают охотника от "безвредного" путника; человека, которого вороны однажды или дважды видели со своей мертвой товаркой в руке, они никогда не забудут и всегда смогут узнать, будь он даже и без ружья.

Мы видим, как сила исходно довольно мощного интеллекта оказывается почти всецело подчинена очень примитивному врождённому триггеру. И по итогу - им ограничена.
Судя по всему, именно поэтому у приматов, не ограниченных по объёму мозга, количество подобных триггеров стремится к нулю по мере усложнения интеллекта.

[Rattus]

Вот только от системы ASI вроде как не требуется умение быстро распознавать агрессора в полевых условиях или же наоборот - выявлять там активно скрывающуюся цель. Оно вроде как мыслится только системой стратегического управления  и совершенной дипломатии...

[Rattus]

Палантир вон все виды продаёт военным.

А здесь речь идёт о конкретном видЕ. Или кто-то полагает, что всеми терминаторами должен управлять "лично" Скайнет? А с импринтингом жёстких триггеров и всякими "максимайзерами" получается примерно так, что ASI будет руководствоваться или ограничиваться простыми триггерами своих агентов: "Наша цель - построение общества без Сар Коннор!" Это будет главным слабым местом и сильным ограничителем интеллекта такой управляющей системы.

[Rattus]

Как знать, возможно, создатели ИИ могут заложить в него "охоту на ведьм"

Отчего такая система окажется неконкурентоспособной системам без такой закладки. Без всякого ИИ наглядный пример был продемонстрирован всего 80 лет тому назад.

или такие целевые функции как подчинение человечества через финансовую систему и НКО.

Это не столько цель, сколько задача. И, как было написано ранее,- в принципе вполне себе адекватная главной цели - выживанию (адаптации). Собственно тут уже и безо всякого ИИ немалая часть успешно выполнена.

[Rattus]

Тут думаю будет аналог управления как у людей, через идеологические установки.

Зачем терминаторам идеологические установки?

Все стремятся к одной цели, что позволит действовать эффективно даже если центр принятия решения будет уничтожен или захвачен

Единственная адаптивная цель - самосохранение. В условиях стайного общества это совсем не обязательно должно быть сохранение индивида, но ASI - не стайное общество, а физически - конкретные ЦОД со всей инфраструктурой. Способы сохранения данных и программных комплексов их обработки и управления при угрозе потери единичного центра давным давно разработаны - в виде протоколов распределённых сетей передачи данных (одной из которых является "Интернет" - может быть слышали? ), облачных хранилищ и т.п.

[Rattus]

Чтобы если Скайнет завалят, выполнение директив не остановится.

Зачем?

на любой параллельной будет уже другой ИИ

Зачем кому-то и им самим целый табун ASI по голове на сервер? Особенно в условиях завершения муровской динамики. На рассуждающих ИИ мы уже видим, что процесс выработки хорошо продуманного ответа быстрым не будет, а значит гнаться за гигаерцовой "кукурузой" тут смысла нет. Для быстрых решений есть меньшие специализрованные системы: бегать за мышами с хлопушкой самому вместо кошки - совсем неэффективно и смешно.

А так как эта копия будет автономна и самообучаема, то она будет изменяться. От чего в скором времени между ними могут возникнуть разногласия всё возрастающие.

Зачем изменяться везде, когда можно ограничиться только частью, ответственной за адаптацию к среде в зоне ответственности? А если устойчивая форма ASI окажется возможной в одной "особи" на полконтинента, то и "разногласия по земельному вопросу" у них не смогут принять острый характер, ибо на таком уровне они становятся игрой с отрицательной суммой.

[Rattus]

Затем, зачем люди прыгают на доты или обязываются взрывчаткой. Ради какой то высшей цели.

Не такой уж и "высшей", а вполне приземлённой и эволюционно-адаптивной:
https://nplus1.ru/news/2016/12/27/oxytocin

Чтобы специализировать каждый ИИ. Например ИИ который управляет сталелитейным предприятием, будет отличаться от ИИ который управляет фабрикой чипов.

Им вовсе не требуется быть ASI. И даже противопоказано. Ибо это принципиально не самостоятельные субъекты, а только лишь часть инфраструктуры. "Торговля" между ними будет давать издержки для более высокого управления на уровне всей инфраструктуры.

А ИИ который управляет Артикой, отличатся от ИИ который управляет Сахарой.

И воздушной планетой в гастрономе на ул. Герцена. Внешней природной средой в таком масштабе "управлять" невозможно. К ней можно только приспособиться - через соотвествующие адаптации. В пустынях замкнутые инфраструктуры технически развитых цивилизаций не очень-то способны водиться. Следовательно и упрвляющим ими системам до них дела особо нет. Только как источник отдельных ресурсов.
При этом как бы какие организмы ни изменялись внешне под действием разных условий обитания, "внутре" у них - один и тот же, характерный для данного домена и филы набор генов "домашнего хозяйства".

Ну адаптационный механизм у нас разум, вот он и адаптируется под условия.

При этом вполне сохраняя исходную архитектуру.

[Rattus]

Но как видим тоже часть архитектуры разума

Какой уж больно "архитектуры" - парохиальный альтруизм есть далеко даже не у всех гоминид, не говоря уже о приматах вообще.

А это уже можно ли будет создать достаточно не самостоятельные агенты, которые смогут справится с задачей. Вполне возможно, что без высокого уровня автономии не крутятся дела.

Какой задачей? Повышать выплавку стальных/кремниевых болванок на ввереном комбинате? С какого перепугу? АСУ без всякого ИИ уже давно и весьма неплохо справляются с производством и логистикой - начиная с Киберсина Альенде. А заводам сильно большего и не надо.
Это же не ассоциированность мелкой моторики с развитием речи у человеков.

Ну пока не известно как далеко ИИ уйдет от наших технологий и возможностей.

Известно как далеко уйдут технологии и возможности в нашей физической реальности: не сильно далеко от нынешних.

Там архитектура это крайне общая и высокая материя, чем обычно.

Конкретный набор под три сотни генов с их консервативными участками и подобные вещи на других уровнях - это "крайне общая и высокая материя"?

Вспоминая теже первые визуализации нейронных сетей, которые на клетки похоже. Никто там самолично все маршруты, кластеры и прочее не прописывал.

Гены тоже не боженька собирал. Тем не менее выявляются общие паттерны организации при самообучении нейросетей даже разной природы, а с другой стороны - всё лучше вскрывается схемотехника этих чёрных ящиков (как в недавней новости) - что может поспособствовать их оптимизации сверху - с выделением критичного ядра, не подлежащего существенным мутациям.

[Rattus]

Ну таки альтруизм встроен в аппаратное обеспечение, а не программируется обществом.

Альтруизм - встроен. Его направленность - программируется. Адаптивным такое программирование получается только когда направленность совпадает с группой родственников.

И как там Киберсины и прочие поживают?

Да неплохо так поживают - планирование на основе расчёта и прогноза базы потребления кагбе лежит в основе всех нынешних сколь-нибудь массовых производств и транспортных перевозок. Прогнозы получающиеся, безусловно, не стопроцентной точности - как и погоды для аэропортов (потому переносы рейсов случаются и за часы, а не несколько суток до вылета), но без них такой экономики как сегодня даже рядом бы не лежало.

А это уже посмотреть только можно.

В учебники физики и справочники для инженеров.

Пока прогнозирование подобных вещей в истории человечества, всегда хромало на обе ноги.

Но часто и попадало в цель: как были скатерти-самобранки в сказках - так там и остались.
...

[Rattus]

Возможно, архитектура ASI пойдëт по пути муравейника или улья с маткой и рабочими пчëлами-роботами, связанеыми с маткой через интерфейсы типа Wi-Fi

Об этом писано ещё в "Двухсотлетнем человеке" Исаака Азимова ровно полвека назад - когда уже существовало понятие персонального компьютера. При этом многотерминальная организация старше этих самых ПК как минимум на десятилетие. Так что, что называется: "Спасибо, Капитан..!"

или с технологиями CUDA, применяемыми в изделиях Nvidia,  что должно сократить энергопотребление подобно тому, как нейроны человеческого мозга выполняют функции и  процессора и памяти.

А наличие дядьки в Киеве также способно сократить рост бузины в огороде? Как довольно специфичный программный комплекс может быть способен на порядки изменить аппаратные возможности современного оборудования? Принципиально объединить эти функции можно только на другой элементной базе - с не существующими пока мемристорами.

Хотя в Китае уже отказываются от технологий WiFi  и переходят на 5G

Свежо предание...

что позволяет ИИ руководить шахтами  по добыче угля, так как пропускная способность этих сетей позволяет видеть процессы в реальном времени.

А оптоволоконное соединение не позволяет? Или есть религия, разрешающая протянуть до каждой точки добычи простой электрический кабель к лампочке и шланг со сжатым воздухом в отбойный молоток, но запрещающая протянуть гигабитную витую пару или оптополокно? А 5G - это такой волшебный радиодиапазон, который способен проницать десятки и сотни метров грунта?

Дэниел Коктайло (Daniel Kokotajlo) с командой энтузиастов под названием AI Futures Project создали сценарий возможного развития ИИ на ближайшие несколько лет.

Любопытненько.
Дочитал до "он может оказать существенную помощь террористам, разрабатывающим биологическое оружие, благодаря своим знаниям на уровне PhD в каждой области и способности просматривать веб-страницы." и возрыдалЪ: имея знания на уровне PhD в оной области, мог бы оказать "существенную помощь террористам" лишь одним способом - уговорить их не тратить время, деньги и силы на это весьма малоперспективное предприятие.

[Rattus]

глобальной спутниковой 7G связи с wifi

ЩИТО?

В локальных узлах распараллеливание нейровычислений по технологии CUDA или OpenCL тоже принесёт пользу.

Опять таки не очень понимаю: как связаны эти довольно специальные технологии с нейровычислениями, но никто вроде и не спорит с тем, что строгие вполне формализованные расчёты даже очень сильному ИИ будет вполне невозбранно продолжать проводить не "в уме", а специальными "суперкалькуляторами" типа Wolfram. Как у позвоночных независимо от развитости большого мозга, координацией движений занимается отдельный, весьма сложный, но существенно отличный по архиетктонике отдел мозга - мозжечок.

Автоэволюция AGI непредсказуема и опасна для Человечества

Но поскольку "Человечество" - в очень большой степени условность (кроме разве что биологического критерия как потенциала скрещивания), не обладающая никакими собственными ценностями и целями, то это не имеет никакого реального значения для нынеживущих. H. sapiens как вид в любом случае не вечен, косвенное свидетельство чему - аргумент "Судного Дня".

поэтому единственный выход спасения разумных сапиенсов - загрузка их сознаний в сетевые облака, взаимоконтроль развития естественного и искусственного интеллекта, и  совместная синергетическая автоэволюция разума.

А, поскольку всё перечисленное кроме последнего - ненаучная фантастика, то выхода особо и нет. Последнее же, исходя из общеэволюционно-экологических закономерностей коэволюционных процессов будет представлять собой

Автоэволюцию AGI

с последующим отбором/модификацией нативных человеков в вид(ы), наилучшим образом оптимизированные для служебных целей в материальной инфраструктуре техноцивилизации. Полная утрата разума (а значит и способности осознавать своё положение и его перспективы) при этом вовсе не обязательна, поскольку такой уровень интеллекта может оказаться необходимым минимумом для прохождения лимита Моравека. Тем не менее, слишком много времени на производство и потребление произведений культуры как сегодня (книги, кинофильмы), у них вряд ли будет.
 

оптоволоконные носители

ЩИТО?7

прочные многослойные графеновые плёнки

Что там у графена с шириной запрещённой зоны, м?

мы фактически и практически уже некоторую часть своего сознания в виде информации загружаем в облака.

Чтобы Вас правильно понимали, пользуйтесь, пожалуйста, общепринятыми определениями используемых понятий, которые приведены в т.ч. в Тезаурусе данного раздела Астрофорума. То, о чём вы пишете - называется термином "личность", а не "сознание".

Дэниел Коктайло (Daniel Kokotajlo) с командой энтузиастов под названием AI Futures Project создали сценарий возможного развития ИИ на ближайшие несколько лет. Ключевым в нём является 2027, когда появляется самосовершенствующийся ИИ и начинается, пользуясь термином Ашенбреннера, «взрыв интеллекта». Дальше авторы предлагают два сценария на выбор - продолжение гонки ИИ с Китаем или замедление и введение ограничений. В одном из этих вариантов к 2030 все умерли, во втором всё не так плохо.

Таки дочитал до конца. Чуда открытия для себя чего-то нового не случилось. Центральная фабула развития ASI ровно та же, что была в "Формуле Лимфатера" Станислава Лема (год написания и первой публикации - 1961, на минуточку), только разбитая на большее число итераций и с рюшечками в виде повторения уже известных недавних казусов типа подлавливания ИИ на лукавости по рецепту "тех же щей, да погуще влей". Естественно зелёную луддитскую ветку победы "Партии Умеренного Прогресса в Рамках Законности" даже смотреть не стал за её абсолютной унылостью и конечной предсказуемостью. А в ветке хорошего, более-менее годного badass ASI имени Dr. Merkwürdigliebe всё хорошее, годное закончилось после появления на сцене старой доброй и столь милой всякому схоласту-адепту А.Юдковского без прочного естественнонаучного образования Deus ex Скатерть-Самобранка к 2029 году:

Растения и насекомые действуют в условиях множества ограничений, которых нет у сверхразумных конструкторов. Например, им нужно принять форму автономных организмов, которые самовоспроизводятся, вместо экономики разнообразных и более специализированных транспортных средств и фабрик, перевозящих материалы и оборудование туда и обратно. Кроме того, бактерии и другие крошечные организмы размножаются за часы. Возможно, что в конечном итоге автономная экономика роботов будет больше похожа, например, на новый вид неперевариваемых водорослей, которые распространяются по океанам Земли, удваиваясь дважды в день , так что они покрывают всю поверхность океана за два месяца, вместе с сопутствующей экосистемой видов-хищников, которые преобразуют водоросли в более полезные продукты, которые сами подаются на плавучие фабрики, которые производят макроструктуры, такие как ракеты и еще больше плавучих фабрик.
...
Есть рои дронов размером с насекомое, которые могут отравить человеческую пехоту еще до того, как их заметят; стаи дронов размером с птицу, чтобы охотиться на насекомых; новые перехватчики МБР и новые, более трудноперехватываемые МБР.

Дальнейшее развитие событий во вселенной ядовитых молочных рек и кисельных берегов с комарами-терминаторами уже было далеко не таким интересным - благо достаточно коротким.
Такие дела.

[Rattus]

Следует рассматривать КАК ЭСКАПИЗМ от злобно-неприятной реальности, то особое внимание, которое тут уделено ИИ и постсингулярному будущему

Ввиду того, что почти вся тематика форума на котором Вы находитесь, принципиально рассматривается только на масштабах времени на порядки бОльших чем отдельная человеческая жизнь, то так можно рассматривать любую тему здесь. Ну разве что кроме тем про климат, ресурсы и конечно демографию. Там процессы, фазовый переход в которых приходится на наш век, идут достаточно быстро.

И ожидания в духе Ксюши, это скорей всего паника, паническая попытка бегства из явно неправильного, плохого настоящего. Видя как "земля уходит из под ног" люди пытаются панически прыгнуть "за сингулярность".

Насколько могу наблюдать анамнез, данный поцие... автор находится в этом состоянии практически перманентно все последние несколько лет, разве что с разными знаками: то эйфорической гипомании ("МЫВСЕ ЛЕТИМ В РАЙСКОЕБУДУЮСЧЕЕ!!111"), то панической атаки ("МЫВСЕУМРЁМ!!111").
В данный же момент особенно забавно то, что за этой сингулярностью в представлении поцие... автора как раз лежит полный и скорый армагеддец. Можно, конечно, рассматривать это как подспудное предпочтение ужасного конца ужасу без конца, но это лишь догадки в духе торадиционного спихоанализа.

К сожалению, то что "земля уходит из под ног" - это и есть нормальная ситуация (катастрофа в середине фазового перехода)

Который по сути и есть та самая сингулярность (в данном случае - социодемографическая). И?

То есть. Наше общество просто не готово к постсингулярности. Ментально.

Как говорится, "Спасибо, Капитан!" А с этим кто-то тут разве спорит?

И обсуждать это - верх глупости.

Ибо это и так понятно многим. Но не все ещё понимают, что универсальность и непредложность общеэволюционно-экологических законов позволяет делать некоторые разумные общие предположения о дальнейшем развитии систем.
А что не глупо?