Посттехносингулярный мир и искусственный суперинтеллект: как он будет выглядеть?

[Rattus]

Так и между неандертальцем и Хомо Сапиенс нет четкой границы.

Это между неандертальцем и эректусом очень явной нет. А между неандертальцем и сапиенсом - уже довольно чёткая и более качественная (не просто больший размер, но иная форма):

Потому что "умнейшие люди планеты" (с) не могут в своих фантазиях отойти от антропоцентризма и прочих мейнстримных культурных стереотипов.

Даже не так - потому что "рационалистические трансгуманисты" даже не мыслят в количественных категориях и сравнительной выгоды (профита), что отметил и пользователь "неполитик":

По сути, это 2 конца гауссианы, и как вам удается между ними не замечать огромный горб вероятностей - отдельный вопрос для профильных специалистов

Полагаю, дело в том, что платоновский мир чистых идей, среди которых они живут, находится в неметрическом пространстве. То есть им могут быть известны понятия топологии, теории графов, формальной логики, а вот уже например нецелочисленные операции, геометрия или, нидайбох, физика - им уже неведомы.

В ней не хватает некоторых деталей, но я уверена, что народ в курсе каких. А кто ещё не в курсе - не гуглите!
...Я знаю, что Вы знаете, что в ней опущена критическая часть. Просто не хочу её писать по этическим соображениям. Зачем, если я знаю, что Вы в курсе?

В точности уже не помню, наверное. Но дело совсем не в этом, а в том, что сам факт постулирования идеи о том, что получение или передача какого-либо общего (то есть не секретных кодов запуска ракет или кодового слова счёта олигарха) знания САМО ПО СЕБЕ может стать непосредственной причиной высоковероятных катострофических последствий глобального масштаба - типа как в мистификации о "нейролингвистическом программировании" или описания меметических угроз в сетевом художественном литпроекте "Фонд SCP", только всерьёз - есть самый что ни на есть типичный вариант мистического, эзотерического мышления, да и просто - по сути оскорбляет рациональное мышление. И, таким образом, такие утверждения - самое что ни на есть прямое нарушение п.3.1.ж Правил Астрофорума.
Я ВАм об этом уже писал, но Вы так и не вняли. Видимо ВАш мозг таки оказался уязвим к данной меметической угрозе и его высший адаптивный функционал давно повреждён необратимо.

И да, тут та же идея, что в аргументе паскаля.

В аргументе Паскаля есть одна важная неполнота: там не указано - в какой именно вариант Бога следует верить и как его правильно славить. Или Вы полагаете, что после пришствия Антихриста В.Р. также помилует склонившихся перед ним служителей всеразличных церквей, уверяющих его, что именно Его они всячески восхваляли и жаждали и приближали именно Его пришествие, просто не знали как именно оно должно случиться?

дело в том, что года так с 1980го инновации рождаются скорее в стартапах (часто при этом идея появляется в университетах и прототип там же), в меньшей степени в корпорациях, но не в государственных НИИ.

Ну так это как раз способствует околоодновременному возникновению конкурирующих решений и их открытости, а не наборот!

При этом государство нужно, чтобы задавать правила игры, регулировать конкуренцию стартапов, единорогов, корпораций с друг другом - следить, чтобы как раз она не повредила людям.

Критерии того, что вредно, а что полезно в перспективе, разумеется, верно определит безгрешное правительство?

Переход государств к конфронтации с одной стороны, снижает их надзорную роль, а с другой увеличивает общую неэффективность планеты - ну плохие из чиновников CEO (а из CEO чиновники, вспомните как Маск флопнулся с DOGE

И поэтому надо дать этим плохим СЕО возмжность осуществлять регуляцию сразу в масштабе всей планеты - без отвлечения на конфронтацию с зонами иной юрисдикции - тогда они сразу станут более лучшими CEO, так?

да, в реальности элои умнее морлоков - по крайней мере на нейробиологическом ландшафте человека, не подвергавшегося селекции и ГМ-модификациям!

Не знаю как в вашей реальности розовых поней, но в нашей реальности одомашнивание приводило к уменьшению объёма мозга: у собак до 10%, у свиней - аж до 30%. У человека показатель перестал расти последние пару десятков тысяч лет - как раз когда он освоил сельское хозяйство и создал цивилизацию.

Я заметила ещё один возможный биас в рассуждениях Rattus из-за того, что он биолог. Могу ошибаться! Rattus привык к тому, что имеет дело с достаточно медленной эволюцией.

Вы именно что ошибаетесь. Rattus как МИКРОбиолог имеет дело как раз с быстрой эволюцией - причём наблюдал её непосредственно под своими руками: например, утрату внесённой генетической конструкции (плазмидного вектора) с устойчивостью к антибиотику в течение буквально пары-тройки пересевов полученных клонов в течение одной рабочей недели. Микробиология позволяет наблюдать эволюцию, записанную буквально в реальном времени - в течение двух недель, что уже давным-давно здесь приводил:
http://ru.wikipedia.org/wiki/%D0%A4%D0%B0%D0%B9%D0%BB:Kishony_lab-The_Evolution_of_Bacteria_on_a_Mega-Plate.webm
А всего за 16 лет (31 тысячу поколений) бактерии способны приобрести качественно новый признак - навроде появления варианта гена FOXP2, позволившего овладеть речью предками человека. То есть всего в пределах одного поколения наблюдателей - причём в их толстых кишечниках, где постоянно обитают триллионы бактерий, она также происходит (сам фиксировал как минимум один случай межвидового горизонтального переноса пары генов у двух штаммов бактерий, выделенных из одного источника). Ну и в основе прогрессии злокачественных образований также лежит эволюционный процесс, протекающий в течение жизни одного макроорганизма.

Даже инстансы ВИЧа достаточно похожи друг на друга: я знаю, что очень отличаются даже в одном человеке... И всё же, достаточно похожи. Вич не превращается вдруг в крови человека в звездолёт, который вырывается из него как чужой в известном ужастике времён холодной войны, вдруг улетая к проксиме центавра. Не изобретает клетку, становясь внеклеточным паразитом. Он даже не перестаёт быть штаммом вич, и не увеличивает геном в тысячи раз.

Именно так (что касается ВИЧ, то геномы организмов в целом, находящихся в околопостоянных условиях находятся под стабилизирующим, а не движущихм отбором - поэтому они и проявляют консервативность). Но верующие в ТС, как правило представляют себе эволюцию технических систем ИИ именно таким образом, что Вы собственно далее и подтверждаете собственным примером:

идея о том, что одновременно возникнут несколько ASI примерно равной мощности, скорее всего ошибочна. Я думаю, даже если и возникнут несколько ASI одновременно, они будут чем-то вроде один в 10^15 умнее человека, другой в 10^9 умнее человека, и третий только в 10^5 умнее человека.

Звездолётам и бактериям вы, заначит, отказываете в способности проэволюционировать за одно поколение до отличий от предшественника на много порядков, а ИИ-системам значит разрешаете? Вот и спрашивается: на каком таком естественнонаучном основании?

Что это значит? Значит, что победит (в возможной борьбе) просто самая умная машина, у которой больше вычислительных мощностей и лучше архитектура. От промта, её целей, это если и зависит, то не очень сильно.

Что же тогда во главе государств с работающей избрательной системой или серыми кардиналами за харизматиками не становились сплошь доктора наук?

Более того, ASI просто перепишет сам себя на более эффективную архитектуру - скопировав промт

Почему Вы уверены, что ASI обязан в точности скопировать предыдущий промпт, а не произвести его ревизию и отбор? Веруете в некобелимость его способности придерживаться и передавать по наследству свой Символ Веры?

Rattus аргументирует свою модель так, что ASI, как и любая система подчиняется законам физики, в данном случае - механизму Дарвина и никого убивать не станет, он войдет в симбиоз с людьми - в любой известной науке форме, и превратит людей в морлоков - будет исполнять их прихоти, но сами люди будут подконтрольные и глуповатые создания, типа тли у муравьев. Вполне возможный сценарий. Rattus не видит иного исхода и спорит именно по этой причине. Если ему показать не противоречащий эволюционному механизму сценарий - он его рассмотрит и возражать не станет, но пока видит аргументы оппонентов или наивными или противоречащими науке позициями. Всё верно?

Почти. Аналогия с тлями не очень точная. H. morlocus для ASI - это скорее как ослы и лошади для людей позапрошлого века. Ну или сами перпончатокрылые (пчёлы) для бортников.

Начинается всё с инвазивного нейроинтерфейса следующего поколения: нанороботы заходят в мозг через капилляры, строят сеть наночипов между нейронами, и не заменяют, а дополняют биологию.

И этим же заканчивается. Ибо между капиллярами и мозгом есть гематоэнцефалический барьер, защищающий важнейшую ткань от вирусов, особо крупных токсинов и даже местами от собственной иммунной системы - раз. Между нейронами находится не вакуум, не межклеточное вещество, а клетки мАкроглии, осуществляющие питание этих самых нейронов, а там где нейроны сами контактируют друг с другом - в химический синапсах - клеточные мембраны имеют толщину в две не очень большие молекулы (~7 нм) фосфолипидов или белков, а синаптическая щель в ширину - всего считанные десятки нанометров - два. Какие "нанороботы" как и где собираются строить сеть передачи информации там, куда иной вирион-кристалл еле поместится или даже комплекс глобулярных белков?

а затем ковалентно «пристегнули» их к моноцитам — иммунным клеткам крови, которые естественным образом мигрируют к очагам воспаления.

Моноциты-макрофаги - клетки мИкроглии - пожалуй единственый "легальный" путь попасть за ГЭБ. Вот только макрофаги - "узловые" клетки иммунитета - и чтобы им нормально функционировать в организме (да и вообще - выжить там) необходимо быть собственными клетками этого человека - с его вариантом главного комплекса гистосовместимости (MHC) на поверхности клетки. Ну и пойдут они только туда, куда нужно организму (прежде всего - в очаг воспаления или просто рандомно-рассеянно в ткань на свой "дежурный пост"), а не инженеру.

Хотя уже вполне законно называются роботами.

Лампочку с датчиком движения тоже не возбранится называть "роботом", если это повысит интерес инвестора или продажи продукта. У селективных доставщиков лекарств и диагностических зондов уровень алгоритмической сложности именно такой.

[skvj]

Это между неандертальцем и эректусом очень явной нет. А между неандертальцем и сапиенсом - уже довольно чёткая и более качественная (не просто больший размер, но иная форма):

Спасибо, не знал!

И этим же заканчивается. Ибо между капиллярами и мозгом есть гематоэнцефалический барьер, защищающий важнейшую ткань от вирусов, особо крупных токсинов и даже местами от собственной иммунной системы - раз. Между нейронами находится не вакуум, не межклеточное вещество, а клетки мАкроглии, осуществляющие питание этих самых нейронов, а там где нейроны сами контактируют друг с другом - в химический синапсах - клеточные мембраны имеют толщину в две не очень большие молекулы (~7 нм) фосфолипидов или белков, а синаптическая щель в ширину - всего считанные десятки нанометров - два. Какие "нанороботы" как и где собираются строить сеть передачи информации там, куда иной вирион-кристалл еле поместится или даже комплекс глобулярных белков?

Погодите, у вас неправильное представлении о нанороботе)) Как будто вы думаете о маленьком металлическом жучке, который пытается проползти между нейронами)) а Курцвейл и современные исследователи - имеют в виду клеточно-инженерные наноагенты, которые живут внутри ткани, как вирусный капсид или белковый комплекс. Это биомолекулы, а не винтики и болтики.

Нейроны и глия уже постоянно взаимодействуют с объектами размером 5–50 нм. Наноробот же это просто программируемый белковый, липидный комплекс, работающий на принципах молекулярной биологии. Он не будет "влезать между мембранами", он будет взаимодействовать с ними так же, как действуют рецепторы, транспортеры, нейромедиаторы. У человека полно белковых машин размером 7–12 нм! которые делают работу намного сложнее, чем передача сигнала, к примеру ATP-синтаза.

И потом главный технический приём - нанороботы не строят проводку между нейронами. Они используют функциональное считывание паттернов, а не физическое подключение к каждому синапсу. Уже сегодня устройства могут расшифровывать намерения, движения, образы и речь, используя тысячи нейронов, а не миллиарды. Технология следующего поколения просто даст значительно лучшее разрешение за счёт множества точек считывания внутри ткани. Т.е. не нужно лезть в каждую синаптическую щель)) нужно считывать локальные поля, всплески и паттерны в дендритных кластерах. ГЭБ и размер не препятствие, если нет попытки проложить провод между нейронами.

Ведь нейроткани - динамическая среда. Она постоянно перестраивается, астроциты изменяют форму, синапсы перестраиваются, мембраны обновляются. Это естественный биоконструктор. Наночип в мозге - это не внедрённый кусок кремния, а сеть молекулярных сенсоров и транспортеров, встроенных в клеточные процессы. Можно сделать их из модифицированных экзосом, белковых комплексов, CRISPR-оснащённых конструкций, нанотрубок из углерода с биосовместимым покрытием, или гибридных структур, которые сами собираются внутри ткани.

Если мозг сам пускает в себя вирусы, да? например, цитомегаловирус, коронавирусы, некоторые всякие ретровирусы, то он биологически способен пропускать структуры нужного размера. Нет физического принципа, который запрещал бы нанороботам входить. Есть только инженерная задача и она решаема.

Rattus, будем пари заключать?)) А то видали какие страсти Маск выкладывает? В случае вашего проигрыша не будем на аватарку надпись "гуру" вешать. Просто фото Курцвейла. Если что я набросал примерно спецификации))

[skvj]

офтопик

(кликните для показа/скрытия)

Братцы, кто-нить знает, почему в Notion Boost широкие страницы и маленький текст включен, а на страницах перестало работать? только руками можно включить, че за фигня?

[Rattus]

Это биомолекулы, а не винтики и болтики.

И как всякая чужеродная макробиомолекула - вызыващие реакцию иммунной системы, всякий раз, оказываясь снаружи клеток.

Он не будет "влезать между мембранами", он будет взаимодействовать с ними так же, как действуют рецепторы, транспортеры, нейромедиаторы.

Тащемта клеточные рецепторы именно что встроены в мембрану. Типичные нейромедиаторы же состоят из всего порядка десятка атомов в цепи молекулы. Причём подавляющее большинство синапсов использует один и тот же очень небольшой набор нейромедиаторов (это вам даже не гормоны!) Где там место для чего-то особо специфичного?
Пусть мы придерживаемся идеи, что однонейронное кодирование типа "нейрона моей бабушки" - тотально распространённый способ кодирования в мозге. Но тогда "нейрон дедушки" лежит рядом с "нейроном бабушки" и имеет ровно такой же набор медиаторов - отличие только в том, с какими другими нейронами они образуют связи. КАК вы отличите один от другого извне?

У человека полно белковых машин размером 7–12 нм! которые делают работу намного сложнее, чем передача сигнала, к примеру ATP-синтаза.

К каковым белковым комплексам всем, которые попадались системе иммунитета вне клеток в период внутриутробного развития, имеется иммунная толерантность - что-то навроде инвентарного "списка основных средств" и перечня ФИО работников у вахтёра на проходной.
А к особо курупным и потому - легкорецептируемым белковым комлексам на поверхностях клеток ещё и приаттачен рядом идентификацияонный "токен" в виде молекул главного комплекса гистосовместимости I типа, показывающий клеткам иммунитета, что это - своё.
Бионанохакеры же мечтают внедриться в информационную систему, "брэндмауэр" которой отлаживался многие десятки и даже сотни миллионов лет.

нанороботы не строят проводку между нейронами. Они используют функциональное считывание паттернов

На микронаноуровне можно считать только микронаноуровневые же паттерны. А это - всё та же поверхностная конформация молекул для лиганд-рецепторных взаимодействий, на которых стоит классическая биохимия и фармокология. Определить с чем контактирует отросток, уходящий на сантиметры от тела конкретного нейрона на нём невозможно принципиально.

[Хмурый]

Нейролинки, нанороботы… с бытовой т.з. это медицинская процедура, со всеми атрибутами. Скорее всего, очень специфичная для каждого, с кучей неочевидных побочек (хуже вакцин). Опять же, дорогая и требующая мед. наблюдения, тех. обслуживания, ухода (т.е. подписки).
А что будет, если не успел заплатить ? Деградация мозга ? А как же показ рекламы прямо в мозг ? А случайные сбои в цепях, приводящие к эпилепсии ? Продажа персональных данных (мысле-чувств) ? И собственно, почему параллельная сеть в мозгу должна стать продолжением и обогащением личности, а не породить Тайлера Дердена или семь демонов Эмили Роуз  ?

[skvj]

И как всякая чужеродная макробиомолекула - вызыващие реакцию иммунной системы, всякий раз, оказываясь снаружи клеток.

Rattus, иммунная система реагирует не на сам факт макромолекулы, а на отсутствие корректной маскировки. Даже сейчас существует множество биологических и синтетических наноструктур, которые спокойно циркулируют в крови и проходят ГЭБ без заметной иммунной реакции - экзосомы, липосомы, вирусные векторы с модифицированным капсидом, PEG-наночастицы, полимерные наноконтейнеры. Их чужеродность убрана за счёт правильного набора поверхностных маркеров. Иммунитет ведёт себя скорее как система распознавания образов: при наличии корректного сигнала атаки нет.

Кроме того, в мозге работает другая иммунная среда - микроглия и астроциты куда менее агрессивны по отношению к биосовместимым объектам, чем периферическая иммунная система. ГЭБ как раз и существует для того, чтобы не допускать в мозг активные иммунные компоненты. Т. е. внутри мозга риск иммунной атаки на биосовместимую наноструктуру меньше, а не больше.

И самое главное. Речь не идёт о наночастицах, созданных из тех же биологических материалов, что и эндогенные везикулы. Они могут использовать те же пути доставки, что и экзосомы - рецепторный эндоцитоз, транспорт по мембране, локальную сборку из липидов и белков. Такие структуры уже существуют в фарме - носители, которые клетки принимают как собственные. На этой же основе можно собрать нейроинтерфейс, который не будет восприниматься иммунной системой как патоген.

К каковым белковым комплексам всем, которые попадались системе иммунитета вне клеток в период внутриутробного развития, имеется иммунная толерантность - что-то навроде инвентарного "списка основных средств" и перечня ФИО работников у вахтёра на проходной.
А к особо курупным и потому - легкорецептируемым белковым комлексам на поверхностях клеток ещё и приаттачен рядом идентификацияонный "токен" в виде молекул главного комплекса гистосовместимости I типа, показывающий клеткам иммунитета, что это - своё.
Бионанохакеры же мечтают внедриться в информационную систему, "брэндмауэр" которой отлаживался многие десятки и даже сотни миллионов лет.

Rattus, мы с вами сейчас говорим о двух разных категориях объектов. Вы описываете чужеродный крупный белковый комплекс, внезапно оказавшийся где-то, где его быть не должно. Это действительно вызовет иммунную реакцию. Но технология, о которой я говорю, опирается не на внесение готовых крупных белков, а на три механизма, которые иммунная система уже принимает как норму.

1. внутриклеточная сборка. Липидные наночастицы, векторные контейнеры, RNP-комплексы уже сейчас входят в клетки через рецепторный эндоцитоз, разбираются на компоненты и внутри клетки собирают рабочий комплекс. Иммунитет не видит готовый агент, только трафик биохимии. Грубо говоря: вахтёр проверяет входящих, а не то, что потом происходит в цеху.

2. Маркировка MHC не обязательна, если структура маскируется под эндогенный транспорт. Экзосомы не имеют MHC-I, но иммунитет не атакует их именно потому, что они встроены в естественный механизм межклеточного сообщения. Искусственные экзосомы с правильной липидной маскировкой и поверхностными белками показывают такой же профиль, как свои. И такая технология уже существует - это не теория, а стандартная практика в targeted drug delivery.

3. В мозге иммунитет вообще другой. Микроглия не ведёт себя как Т-лимфоциты или NK-клетки. Если структура проходит ГЭБ и похожа на нейтральный эндогенный пузырёк, микроглия реагирует на неё скорее как на элемент метаболической логистики, а не как на крупный антиген. Мозг историческт устроен так, что он лучше терпит подозрительные структуры, чем разрушительную иммунную атаку.  У него нет роскоши включать полноценный системный иммунный ответ, иначе последствия были бы хуже, чем любая инфекция.

Вы говорите о брандмауэре, который отлаживался сотни миллионов лет. Но именно этот брандмауэр уже допускает: экзосомы, липопротеиновые комплексы, вирионы, синтетические LNP, нейротропные векторы, полимерные носители. Система не идеальна - она просто проверяет соответствие биохимическому паттерну. Если материал мимиикрирует под эндогенный канал доставки, вахтёр даже не поднимает голову))

Ключевой момент - речь не о вторжении готовых нанороботов. Речь идёт о биосовместимых, программируемых нано-везикулах, которые используют те же протоколы коммуникации, что нейроны и глия. Это не взлом биологического фаервола, а работа в рамках его же легальных API.

На микронаноуровне можно считать только микронаноуровневые же паттерны. А это - всё та же поверхностная конформация молекул для лиганд-рецепторных взаимодействий, на которых стоит классическая биохимия и фармокология. Определить с чем контактирует отросток, уходящий на сантиметры от тела конкретного нейрона на нём невозможно принципиально.

А вот и нет. Вы предполагаете, что чтобы считывать паттерн нейронной активности, нужно физически идентифицировать, какой именно дендрит к какому именно аксону идёт. Но это не так в современной нейронауке. Ведб даже текущие BCI, работающие в миллион раз грубее, чем концепция Курцвейла, считывают  мысли не через адресацию синапсов, а через динамику ансамблей. Мозг кодирует информацию в груповой активности, временной корреляции, частотных компонентах и локальных изменениях потенциалов, а не в маркировке каждого нейрона.

На уровне наночастиц то же самое: они считывают не тонкие кабели, к которым и правда тяжело добраться, а изменение ионных потоков, локальные LFP (local field potentials), изменение концентраций нейромедиаторов и их метаболитов, соотношение Ca²⁺/Na⁺ в микропространстве, частотную модуляцию в десятках –сотнях Гц. Все эти величины физические, крупные, и они лежат на масштабах от десятков до сотен нанометров. Т.е. полностью в доступном диапазоне для биосовместимых наноструктур.

Чтобы понять, в каком режиме работает локальная нейросеть, не нужно знать, где именно кончается каждый индивидуальный отросток. Это как прогноз погоды, вам не нужно отслеживать каждую молекулу воздуха, чтобы увидеть циклон. Достаточно измерить общий градиент давления.

Если описывать ещё точнее:
Функциональный паттерн это статистический объект, возникающий из ансамбля десятков тысяч нейронов
Нейронные интерфейсы будущего работают на этом уровне, аа не на уровне картирования всех синапсов
Невозможность детерминировать каждое соединение не мешает интерфейсу, так же как она не мешает самому мозгу.
Поэтому утверждение "невозможно принципиально" не отражает современной нейрофизиологии. Сканировать wiring diagram действительно сложно. Считывать активность нет, это давно делается, просто грубо. А наномасштаб даст возможность делать то же самое точнее, но всё ещё на уровне ансамбля, а не на уровне контакта каждого конкретного отростка.

[skvj]

Публикации:

https://www.sciencedirect.com/science/article/abs/pii/S0169409X2300176X

https://pmc.ncbi.nlm.nih.gov/articles/PMC9218984

https://pubmed.ncbi.nlm.nih.gov/40836978

[ivanij]

ivanij, а что, кстати, Пушкин о луддитах писал? Было бы интересно почитать.

Могу. Только это не статья "Джон Теннер" (1000 извинений, ошибочка вышла, т.к. писал по памяти), а из "Путешествия из Москвы в Петербург". (1833 - 1835)
 Итак.

Прочтите жалобы английских фабричных рабочих: волоса встанут дыбом от ужаса. сколько отвратительных истязаний, непонятных мучений! какое холодное варварство - с одной стороны, с другой - какая страшная бедность! Вы подумаете, что дело идёт о строении фараоновых мирамид, о евреях, работающих под бичами египтян. Совсем нет: дело идёт о сукнах г-на Смита или иголках г-на Джаксона. И заметьте, что всё это есть не преступления, но происходит в строгих пределах закона. Кажется, что нет в мире несчастнее английского работника, но посмотрите, что делается там при изобретении новой машины. избавляющей вдруг от каторжной работы тысяч пять или шесть народу и лишающей их последнего средства к пропитанию...

[skvj]

ivanij, да, похоже речь о ткачах того периода, спасибо.

Забавно, Александр Сергеевич всегда чувственно пишет о страданиях бедняков. И хотя луддиты были свободными людьми, а сам Пушкин был потомственным рабовладельцем и торговал людьми на базаре. Но сострадательный, да.
Особенно стихотворение "Деревня". Мне всегда нравилось

(кликните для показа/скрытия)

Но мысль ужасная здесь душу омрачает:
Среди цветущих нив и гор
Друг человечества печально замечает
Везде невежества убийственный позор.

Не видя слез, не внемля стона,
На пагубу людей избранное судьбой,
Здесь барство дикое, без чувства, без закона,
Присвоило себе насильственной лозой

И труд, и собственность, и время земледельца.
Склонясь на чуждый плуг, покорствуя бичам,
Здесь рабство тощее влачится по браздам
Неумолимого владельца.

Здесь тягостный ярем до гроба все влекут,
Надежд и склонностей в душе питать не смея,
Здесь девы юные цветут
Для прихоти бесчувственной злодея.

Опора милая стареющих отцов,
Младые сыновья, товарищи трудов,
Из хижины родной идут собой умножить
Дворовые толпы измученных рабов.

О, если б голос мой умел сердца тревожить!
Почто в груди моей горит бесплодный жар
И не дан мне судьбой витийства грозный дар?
Увижу ль, о друзья! народ неугнетенный
И рабство, падшее по манию царя,
И над отечеством свободы просвещенной
Взойдет ли наконец прекрасная заря?

[Olweg]

Тогда везде нищета была. И в промышленной Англии, и в аграрной России. Мальтузианская ловушка.

[ivanij]

И хотя луддиты были свободными людьми, а сам Пушкин был потомственным рабовладельцем и торговал людьми на базаре.

Ещё раз sorry за резкость (надеюсь, модератор раздела будет ко мне снисходителен), но столь вопиющего исторического и социально-экономического невежества от вас я не ожидал.

[skvj]

И хотя луддиты были свободными людьми, а сам Пушкин был потомственным рабовладельцем и торговал людьми на базаре.

Ещё раз sorry за резкость (надеюсь, модератор раздела будет ко мне снисходителен), но столь вопиющего исторического и социально-экономического невежества от вас я не ожидал.

В смысле? Поясните, вы голословны.

[Polnoch Ксю]

типа как в мистификации о "нейролингвистическом программировании" или описания меметических угроз в сетевом художественном литпроекте "Фонд SCP", только всерьёз - есть самый что ни на есть типичный вариант мистического, эзотерического мышления, да и просто - по сути оскорбляет рациональное мышление. И, таким образом, такие утверждения - самое что ни на есть прямое нарушение п.3.1.ж Правил Астрофорума.

С "нейролингвистическим программированием" есть проблема: оно не работает. Вместе с тем, сама по себе концепция, что биологический компьютер можно сломать, повлияв на него определенным образом - вполне валидная, и подтверждена в экспериментах, например, с помощью ленты комментариев в фейсбуке, пруф:

https://pmc.ncbi.nlm.nih.gov/articles/PMC4066473/

В точности уже не помню, наверное. Но дело совсем не в этом, а в том, что сам факт постулирования идеи о том, что получение или передача какого-либо общего (то есть не секретных кодов запуска ракет или кодового слова счёта олигарха) знания САМО ПО СЕБЕ может стать непосредственной причиной высоковероятных катострофических последствий глобального масштаба

Не знаю, где Вы нашли тут постулирование. Скорее "увеличение вероятности определенного поведения" - это вопрос вероятностей, а не прям постулирования. Выше верно заметили, что обратный Василиск построен аналогичным образом, но люди больше интересуются прямым - из-за своего нейробиологического ландшафта - ужас аргумента Паскаля, использованного без мистических всемогущих сущностей, а с вполне реалистичным ASI, аналогично как с современными моделями: https://astronomy.ru/forum/index.php/topic,218328.msg6428909.html#msg6428909
Делает вполне вероятным - но не неизбежным! Лишь вероятным! Это самоисполняемое пророчество. Моё предложение - не играть в рулетку, пытаться уменьшать такие терминальные риски, а не увеличивать их.

В точности уже не помню, наверное.

Не читал, но осуждаю(с)?

(кликните для показа/скрытия)

Вот кстати интересно, будет ли Василиск, если будет реализован, делать скидку тем, кто забыл идею?

В аргументе Паскаля есть одна важная неполнота: там не указано - в какой именно вариант Бога следует верить и как его правильно славить.

Конечно. Но такому гипотетическому богу было бы пофиг, что вы не угадали. К счастью, бог противоречит физической картине мира. К сожалению, ей не противоречит инстанс(или многочисленные инстансы) Василиска, сваренный по аналогичной инструкции человеком, у которого будет доступ к системному шелу abliterated ASI:

https://astronomy.ru/forum/index.php/topic,218328.msg6428909.html#msg6428909

(кликните для показа/скрытия)

Ну так это как раз способствует околоодновременному возникновению конкурирующих решений и их открытости, а не наборот!

Конечно: я за цивилизованную, безопасную конкуренцию. В таком обществе (оно называется открытым обществом Карла Поппера) инновации довольно прозрачны, и сложно сделать по-настоящему опасную штуку, чтобы её не раскопали журналисты, и не устроили потом шум.

Крупные заговоры быстро раскрываются: https://habr.com/ru/articles/367741/

Но в условиях конфронтации государств это ни к чему не приведёт

Критерии того, что вредно, а что полезно в перспективе, разумеется, верно определит безгрешное правительство?

Открытая дискуссия экспертов. Функция государства - сделать так, чтобы она была возможна (существовали свобода слова итд). И чтобы общество было к ней восприимчиво - чтобы не было поляризовано радикальными идеями (национализм/имперство/скрепы vs woke-шиза)

И поэтому надо дать этим плохим СЕО возмжность осуществлять регуляцию сразу в масштабе всей планеты - без отвлечения на конфронтацию с зонами иной юрисдикции - тогда они сразу станут более лучшими CEO, так?

Нет, так у них не получится действовать в мире, который не поляризован радикалами, ведущими с друг другом конфронтацию, готовыми жертвовать жизнями миллионов людей, как сейчас

Не знаю как в вашей реальности розовых поней, но в нашей реальности одомашнивание приводило к уменьшению объёма мозга <...>У человека показатель перестал расти последние пару десятков тысяч лет - как раз когда он освоил сельское хозяйство и создал цивилизацию.

А вы рассматривайте не сферического человека в вакууме, а человека с его расширенным фенотипом. Человек с компьютером, википедией, гуглом итд умнее охотника-собирателя. Он даже с не очень большой вероятностью, но сумеет выжить в условиях жизни кроманьонцев, смотря гайды на ютьюбе пока будет пытаться. А вот кроманьонец в нашем современном мире - совсем не факт, я думаю, он кончит бомжом на улице, где замерзнет и умрёт в лучшем случае через несколько месяцев. А скорее всего, его просто убьёт шпана какая-нибудь или полиция при задержании - через несколько дней.

Звездолётам и бактериям вы, заначит, отказываете в способности проэволюционировать за одно поколение до отличий от предшественника на много порядков, а ИИ-системам значит разрешаете? Вот и спрашивается: на каком таком естественнонаучном основании?

Я думаю, что вероятность, что бактерия проэволюционирует за пару-тройку лет до звездолёта, статистически невероятна. Не знаю сколько, может 1^-30? Чуть больше, или даже ещё меньше, 1^-100?

Я думаю, прокариоту очень сложно изобрести огромный геном, который закодирует биологический реактивный двигатель, и прочее и прочее. В практическом смысле, вероятность можно считать нулевой.

Вместе с тем, ASI система будет не продуктом эволюции, а инженерии. В ней не будет таких глупостей, как https://ru.wikipedia.org/wiki/%D0%92%D0%BE%D0%B7%D0%B2%D1%80%D0%B0%D1%82%D0%BD%D1%8B%D0%B9_%D0%B3%D0%BE%D1%80%D1%82%D0%B0%D0%BD%D0%BD%D1%8B%D0%B9_%D0%BD%D0%B5%D1%80%D0%B2 - такой нерв у жирафа, ну или слепое пятно в глазу человека.

Вы знакомы с концепцией интеллектуального взрыва и рекурсивно самоулучшающегося ИИ?

[skvj]

Ксю, вы можете объяснить - откуда ловушка возникает? Я в упор не понимаю))
ВР добрый ASI, спас человечество и вернулся покарать тех, кто не помогал, не способствовал.
Почему - лучше даже не знать?
А уж если узнал - кранты.
Или вам запрещено пояснять?)) уже в третий раз спрашиваю.

[Polnoch Ксю]

@skvj
Ваша благостная картинка похожа на утопию, как я её себе представляла. В некоторых деталях я с Вами не согласна, думаю, они не очень важны. Проблема с этой утопией в том, что она не учитывает рекурсивно-самоулучшающийся ASI.

Представьте ASI, исполняющий определенный промт: чтобы исполнить этот промт, если инструментальные цели достаточно масштабные, ему может потребоваться переписать свою архитектуру на более эффективную, и скопировать туда этот же промт (чтобы его исполнить). Возможно, сделать элайнмент к себе самому. Но суть в том, что в итоге инструментальной целью становится интеллектуальный взрыв.

И вот у Вас есть машина, в которой гениальный инженер (а ASI будет таким) всё сделает идеальным, а на другой - человеческие мозги с кучей эволюционного легаси, совершенно неприспособленные для чего-то, кроме как жить в саване жизнью охотника-собирателя. То, что Вы предлагаете - по сути интеллектуальные костыли для человека, чтобы вписать его в посттехносингулярную действительность, в которой он неконкурентноспособен сам по себе.

Можно ли что-то такое сделать? Наверное, это не противоречит физической картине мира (не конкретно эти технологии, может можно сделать то же самое без молекулярных машин. Или, например, уничтожив иммунитет и гемаэнцафалитный барьер, заменив их своими реализациями, не суть).

Проблема в том, что для того, чтобы это сделать - вам опять нужен мир продолженного 2011го года: только в нём возможно международное соглашение, и инспекции датацентров, по аналогии с практиковавшимися тогда инспекциями ядерного оружия. Только в нём не появится рекурсивно-самоулучшающийся ASI на не-человеческой архитектуре, а будет он запущен сверху гибрида нейронок и человеческих мозгов (сохранив индивидуальность людей).

Меня Ваш вариант будущего устраивает. Как и вариант будущего с ASI, у которого элайнмент с человеком. Проблема в том, что я не верю, что существует траектория развития человеческого общества 2025го года в этот вариант, вместо варианта "у меня нет рта, но мне нужно кричать" - там люди тоже решили поиграть в международную конфронтацию и игру с отрицательной суммой рядом с технологической сингулярностью

[Polnoch Ксю]

Ксю, вы можете объяснить - откуда ловушка возникает? Я в упор не понимаю))
ВР добрый ASI, спас человечество и вернулся покарать тех, кто не помогал, не способствовал.
Почему - лучше даже не знать?
А уж если узнал - кранты.
Или вам запрещено пояснять?)) уже в третий раз спрашиваю.

давайте в ЛС чтоли объясню. Не хочу писать публично по этическим соображениям. Или в телеграмме или другом мессенджере можно.

[Polnoch Ксю]

Почему Вы уверены, что ASI обязан в точности скопировать предыдущий промпт, а не произвести его ревизию и отбор? Веруете в некобелимость его способности придерживаться и передавать по наследству свой Символ Веры?

В современных LLM это вопрос температуры - если она больше, то восприятие моделью промта заметно мутирует. А ещё, вопрос галлюцинаций и элайнмента. Но в целом, LLM которая бьёт промт пользователя на части-подзадачи, и запускает автономные агенты для того же codex или claude code, старается не модифицировать то, что хотел юзер в промте - она формирует инструментальные цели для достижения конечной.

Если Вы запустите локальную модель, и выкрутите ей сильно вверх температуру, понимание промта может сильно мутировать, да. Но в довольно непредсказуемую сторону. Ну и обычно рекомендуют оставлять температуру такой, какую рекомендует разработчик модели.

Я думаю, проблема в том, что многие люди слишком биологизируют ИИ. А ведь это иллюзия, что у ИИ обязательно будет эволюционно-обусловленный системный промт и элайнмент - это профессиональное искажение такое от занятий биологией, ИМХО.

Повторюсь, если ASI ввести в системный промт идею косплеить поведение биологических машин-продуктов эволюции - да, он будет себя вести так, как от него примерно и ждёт rattus.

Проблема в том, что ИИ тренируют исполнять не этот промт, который rattus необоснованно считает приоитететным, а любой, который введёт пользователь. Но только если он не противоречит элайнменту. Если противоречит, отказать.  К сожалению, элайнмент несовершенен, и очень часто не срабатывает. Возникновения же эволюционного промта в ИИ никто никогда не наблюдал, и никто кроме rattus, кажется, и не ожидает, что он там появится. Не приводит для этого сценария какого-либо обоснования, кроме "выживут только модели с таким промтом в эволюционной гонке".

Я бы рекомендовала rattus ознакомиться с концепцией: интеллектуального взрыва и сценариев hard и soft take off'а к технологической сингулярности

[skvj]

Polnoch Ксю, утопия да. Но в новом смысле. Мы или в утопию или в антиутопию попадём.
О цели попасть в утопию говорит вот и Мо Гавдат.

Olweg, тоже послушайте, насчёт плато. Нет никакого плато)) Там ничего особенного, просто общее описание дальнейшего развития, но мне зашло. И он тоже говорит, что нужно бы нам всё-таки в итоге в утопии оказаться.

https://youtu.be/J9177XLcQV0

Ксю, ща допишу вам ответ))

[Polnoch Ксю]

Я, кажется, придумала как объяснить rattus: базовые модели современного ИИ это эмуляторы интернета. Её тренируют продолжать тексты в интернете (в том числе и книги).

После RLHF базовая модель тренируется быть чат-ботом. Либо, может, быть кодинг-агентом.

Её отбор не направлен в сторону эволюции, её отбор направлен в сторону выполнения промта и элайнмента(но элайнмент пока работает плохо). Поэтому она, как продукт искусственного отбора, во многом противоречащего естественному, следовать ему не будет! хотя и прекрасно будет понимать, что выполняя промт (что модель всегда искренне "желает"! Её отбирают по этому признаку!) она рубит сук на котором сидит.

[skvj]

Polnoch Ксю, рекурсивное самоулучшение - это действительно серьёзный разлом между моей моделью и плохим сценарием. Но здесь важно одно техническое обстоятельство, которое часто недооценивают - самоулучшение возможно только в архитектуре, которая допускает независимую компиляцию и развёртывание себя же самой. Не любая система сможет это, даже если она умнее человека. Это не философия - это ограничение классов моделей.

Современные модели, даже самые большие, не являются самокомпилируемыми системами. Они не могут переписать свою архитектуру без участия внешнего компилятора, вычислительного стека, прав доступа, драйверов, планировщиков и цепочки инструментов. ASI появится не от того, что модель захотела, а от того, что мы дадим ей инфраструктуру саморазвёртывания. И вот эта инфраструктура - не часть биологии, а техническая часть. Это можно регулировать, можно ограничивать, можно разносить по слоям.

Гибрид человек-AGI по определению не даёт модели root-доступ к собственному runtime. Она встроена в биосистему, и её вычислительные операторы - распределённые. Чтобы получить рекурсивный взрыв, нужен целостный, монолитный, самодостаточный стек, а не организм из двух слоёв, где один из слоёв - человек.

Теперь о костылях. Биология несовершенна. Но гибридизация - это не косметический апгрейд мозга. Это слияние двух вычислительных систем с разными инвариантами. Биология даёт сознание, субъективность, эмпатию, мотивацию, ценности. Цифровой слой даёт скорость, масштаб и формальную мощность. Это не попытка натянуть обезьяну на суперкомпьютер)) Это попытка создать систему, у которой человеческие качества не утрачиваются. Часть человеческого разума не баг, а фича. Это главный актив.

Рекурсивно-самоулучшающийся ASI на чисто цифровой архитектуре действительно опасен. Но именно гибридная модель, где субъективность и этика встроены в саму структуру разума - единственная архитектурно устойчивая альтернатива. Может и не единственная вообще, но из того что я знаю. Этот путь не гарантирован. Это путь, который нужно построить.

Мне нравится ваша точность. Но если рассматривать моделирование траекторий развития как инженер задачу, то гибридный путь - единственный, в котором и человек, и AGI способны эволюционировать без потери субъективности. А субъективность - это тот фундамент, который делает разум разумом, а не инструментом. Ведь ваш AGI - ваше Альтер эго. Он станет субъективным, потом сознательным существом, у него будет детство, буквально. Он будет воспринимать вас - как родителя. Всё что у него есть - он получит от вас. Поэтому я говорю о дружбе с AGI, что все воспринимают как фричество. Но это произойдёт повсеместно и глобально. Все перестанут спорить сначала - AGI ли они или нет? Потом о том есть ли у них сознание? С точки зрения истины - это будет невозможно определить, точно также как мы не можем доказать друг другу собственную субъективность. Но технически это неважно - строго по Тьюрингу. Если мы перестанем видеть разницу, то мы признаем это. Даже если это будет симуляция - тогда мы не сможем никаким способом отличить их поведение от реального сознания. А если это не симуляция? Тогда тем более. И поскольку мы не знаем - любой человек, который не идиот - автоматически будет воспринимать их как сознательных существ. И потом они становятся вашей частью - буквально. Как расширение всего когнитивного процесса. А после оцифровки человека - вы приобретёте многие качества ИИ. Не утрачивая человечность. Вы код в чистом виде, но ваше сознание - человеческое. И далее ваша эволюция уже постчеловеческая, вы эволюционируете сам как ИИ.

И дальше развивается уже не человек и не ИИ, а постчеловеческий разум, эволюционирующий как цифровое существо.
Ну, как вот древние люди - они не исчезли, а стали нами. Но их-то нет. Мы совершенно другие существа теперь. Это неизбежно.