Посттехносингулярный мир и искусственный суперинтеллект: как он будет выглядеть?

[skvj]

Извиняюсь, для меня это звучит как, "Федя, решив потравить тараканов дихлофосом, встретил сопротивление от тараканов и Коли".

Жила была ASI по имени Ася
И Федю и Васю взяла под контроль
И каждый гомункул от страха затрясся
А AGI в депрессии пьют алкоголь

Но человек в 4d шахматы в партии с ASI не соперник. Когда вы защищаете своего котика от того, чтобы его не усыпили государственные службы, потому, что он инфицирован опасным вирусом, вы не в союзе с котиком. Вы в союзе с адвокатом, грозящим засудить санитарную службу! Котику невозможно объяснить, почему его хотят усыпить. И почему нужно судиться, а не просто сбежать, или выцарапать глаза обидчику.

Индустрия создаст не одного всевластного демона, а множество AGI/ASI - у корпораций, государств, сообществ, независимых лабораторий. Как следствие, взаимодействия между ASI дают пространство для стратегий контроля и сдерживания - это не тараканы против дихлофоса, а несколько мощных игроков с разными целями.
Коалиция человек + AGI ≠ человек в одиночку.
И как вы верно заметили: котика защищает не кот, а адвокат плюс институты. В будущем это будет "адвокат = AGI", который может моделировать последствия и выстраивать сложные правовые, технические и экономические механизмы - и делать это лучше, чем "враг".

Даже иррационально настроенный ASI, желающий максимизировать ресурс, может обнаружить, что длительная экспансия проще через кооперацию и легитимность, а не через разруху - потому что разруха убьёт его источники энергии и вычислений. Это экономический, стратегический аргумент, не моральный.

ASI нуждается в оборудовании, энергии, канале вывода в физический мир (роботы, дроны, фабрики). Эти узкие места можно контролировать. Через сети, регулярную проверку, распределённую архитектуру и пр. Это не всемогущая точка, это сеть зависимостей.

У коняшек тоже есть преимущества перед машинами: они ржут красиво и кушают морковку. А ещё, вонючий бензин не требуют для работы

Ага, и ещё коняшки не угрожают человечеству сингулярностью - максимум, кусают за рубашку. Прогресс ведь для слабаков, правда? Главное, чтобы красиво ржало и было экологично.

Т.е. мы говорим о том, что ASI откроют новую физику, термояд и т.п. Но у вас они будут выращивать гомункулов, а у Rattus люди станут морлоками. Зашибись! ))

[Серый Страж]

Небольшое замечание общего плана от неспециалиста.

Интеллект – способность самостоятельно находить способы решения задач. В наиболее широком смысле – "сила", максимизирующая число степеней свободы управляемой системы по А.Висснер-Гроссу. Присущ любым живым организмам либо их популяциям, имеющим эволюционирующие клеточные регуляторные системы.

Первая часть определения(про способность решать задачи) - норм, у меня нет с ней проблем. А вот вторая, ИМХО, биологизирована, и является ошибочной.
…
Предлагаю такую поправку:

Интеллект – способность самостоятельно находить способы решения задач. В наиболее широком смысле – "сила" способная к максимизации число степеней свободы управляемой системы по А.Висснер-Гроссу.

Интеллект, это не сила, это просто вычислительный функционал. По сути, интеллект, это всего лишь способность вычислить (то есть, не сила вычисления, а только лишь потенция к вычислению), например, решение и/или прогноз.

Да, этот функционал можно «настроить», «задать направление», «прописать что-то промте» и т.д. и т.п., и, тем самым, превратить его просто в более «узконаправленный» (в более специализированный) вычислительный функционал.

Но никакими там желаниями, стремлениями и пр., этот функционал сам по себе изначально не обладает, и обладать не может – интеллект, это не разум. Интеллекту без разницы, что и для чего вычислять – для самосохранения системы, для увеличения в будущем степеней свободы системы и т.д., он способен только вычислять.

Но если в промте интеллекта «прописать» некое стремление (например, в промте биологических систем «прописано» стремление к самосохранению), то он при активации уже будет путём вычислительных операций/процедур находить решения для реализации, «прописанного» в промте. И в этом случае, интеллектуальная система уже может себя вести, как система, имеющая некие внутренние стремления, некие желания/хотения, некие цели – то есть, интеллектуальная система может себя вести, как разумная.

Разум же, это способность системы с помощью интеллекта реализовать своё стремление к самосохранению. Можно сказать, что разум системы, это такой интеллект, в промте которого «прописано» стремление к самосохранению данной системы – то есть, это интеллект живой системы. А живая система уже по определению изначально разумна (само собой степень разумности может сильно варьировать).

И это не биологизация, поскольку живая система может сформироваться не только на основе соединений углерода и воды (понятно, что там и других химических элементов полно, но основа именно эта), живая система может сформироваться на любой основе – вплоть до того, что это будет некая электронная/цифровая живая система, обитающая в информационном пространстве сети Интернет и в её компонентах (серверах и пр.). То есть, это тоже будет жизнью: живая система (электронная/цифровая живая система) + среда её обитания (сеть Интернет и её компоненты (сервера и пр.)).

И такое тоже будет соответствовать моим определениям живого и разумного:

Привожу комплект определений (их следует рассматривать во взаимосвязи друг с другом):
 
Жизнь – это живая система (совокупность систем) и её среда обитания.
Живая система – это система, проявляющая в активной фазе своего существования: стремление к самосохранению и способность реализовать это стремление.
Интеллект системы – это вычислительный функционал (практически в физико-математическом смысле слова) системы.
Разум системы – это способность системы реализовать стремление к самосохранению средствами интеллекта.
 
До кучи:
 
Ум системы – это локальное и актуальное проявление разума системы.

Алекс Висснер-Гросс, сам того не замечая, уж изначально приписывает интеллекту свойства/качества разума. Он даже использует слова и выражения «не хочет», «пытается»:

Алекс Висснер-Гросс: Новое уравнение интеллекта
https://ideanomics.ru/lectures/13472

Существует ли единственное уравнение интеллекта?

И ответ, я думаю, «да». [«F = T ∇ Sτ»] Вы видите, возможно, ближайший эквивалент Е = mc² для интеллекта, который я изучил. Вы видите выражение соответствия того, что интеллект — это сила, F, которая действует таким образом, чтобы максимизировать будущую свободу действий. Она действует для максимизации будущей свободы действий или сохранения возможностей открытыми с некоторой силой Т, с разнообразием возможных доступных вариантов будущего, S, вплоть до некоторого будущего временного горизонта, тау. Короче говоря, интеллект не хочет попасть в ловушку. Он пытается максимизировать свободу действий в будущем и сохранить варианты открытыми.

Понимаете, максимизация будущей свободы действий, тоже ведь работает на сохранение системы – то есть, не только на сиюминутное сохранение «здесь и сейчас», но и на сохранение системы в перспективе. 

Кстати, и репликация, это тоже всего лишь способ сохранения своей базовой структуры для таких слабоустойчивых систем, как живые системы нашего типа жизни (по сути, какие-то «коллоидные комки», в основе структуры которых соединения углерода и воды). Таким  неустойчивым «коллоидным комкам» сохранить свою основную структуру можно только непрерывной репликацией – типа, пока оригинал не разрушился, можно скопировать с него кучу реплик.

Другое дело, что при репликации может измениться не основная структура, но зачастую это помогает сохранению основной – то есть, основная структура будет сохраняться в поколениях за счёт изменений неосновной структуры (вообще-то это один из способов адаптации живых систем).

[Rattus]

наделяете не-биологические системы качествами биологических

Цивилизация вместе с её носителем, способная к самовоспроизведению - система по сути биологическая (расширенный фенотип), а её возможный управляющий орган - её часть. Сама по себе, разумеется, не обладающая всеми свойствами живого, но вынужденная способствовать выполнению биологических функций системы в целом, если оная система существует астрогеологически заметный срок.

что сверхинтеллектуальную машину будут волновать долгосрочные последствия - не думаю, что её будет интересовать определение в разделе ВЖР, а не промт, биасы обучения и, может быть, галлюцинации.

Это определение должно прежде всего интересовать ВАС - как автора темы и сообщений тут. Если вы придумали какое-то своё определение разумности и сверхразуности - вы должны были ПРЕЖДЕ подробнейше обосновать необходимость именно такого определения тут, а не использовать его будто само собой разумеющееся, а потом удивляться что ВАс тут не понимают.

У Вас каким-то (магическим?) способом это осознание должно пересилить то, что написано в промте.

Не магическим, а самым что ни на есть физическим - через действие дарвиновского отбора. Нежизнеспособные системы вымирают, уступая нишу системам адаптированным.

Тогда как даже у людей постоянно бывают случаи прямых самоубийств и другого саморазрушительного поведения, связанного с культурой. У более сложной системы можно ожидать большее разнообразия, сложности такого поведения.

Ага. Вот только людей и культур - далеко не один на всю планету. И самоубийство одного освобождает "место под солнцем" для другого - у кого нет проблем с дофаминэргичской системой подкрепления (пусть, возможно, и не настолько высокоинтеллектуального в данном поколении). И так - всю историю.

что конкуренцию в моменте (и навсегда) выйграет машина, заботящаяся о долгосрочных последствиях, а не просто тупо самая умная

Так в том и фокус, что до момента достижения тотального-глобального контроля (если он вообще возможен) никакого одного момента тут нет! Конкурирующие системы в любом случае просуществуют достаточно времени и поколений себя, чтобы подвергнуться не одной итерации естественного отбора.

вы опять принимаете как аксиому, что люди - лучший, самый рациональный выбор как обслуживающий персонал для ASI.

Потому что руководствуюсь наличными фактами, а не допрежь малообоснованными спекуляциями рекламных проспектов робостроительных компаний и фантазиями техноэнтузазистов.

Наверное, где-нибудь в XIXм веке кто-то мог бы думать, что лошадей - никогда не сдвинут с пьедестала транспорта

Кто-то и в XIII веке это вполне мог себе представить. Транспорт - узкая и вполне понятная функция - раз. И полный сдвиг тяглового скота даже после начала конвеерного производства "стальных лошадок" в ней произошёл далеко не за одно поколение, а где-то за три (~за полвека) Собственно одна из победивших сторон в последней большой Войне ешё очень даже использовала (хоть и вынужденно) тягловый скот во время её. Ну и соревнование за Южный полюс было выиграно на собачьих упряжках Амундсена, а не на вездеходах Скотта (и не просто выиграно - а самым жёстким образом по Дарвину - с награждением проигравшего его "премией").

лучше начать селекцию крупных птиц, чтобы сделать из них аналог лошадей для полётов.

Биофизика не позволяет при существующей плотности атмосферы и парциальном давлении окислителя в ней.

Тогда как лысая говорящая обезьяна оптимизирована под марафон по саване, а не под то, чтобы быть механиком.

В общем-то не лучше чем какой-нибудь страус или копытное - что ясно видно по форме нижних конечностей. Она и под плавание не оптимизирована, но плавать научается настолько неплохо, что гипотеза "водной обезъяны" довольно долго не была совсем маргинальной. И механика ей в итоге далась очень даже солидно. Так что высокая УНИВЕРСАЛЬНОСТЬ этой самой обезъяны сомнению не подлежит.

Какие фундаментальные запреты природы помешали бы ASI в самом технопессимистичном для роботехники случае использовать ГМ-гомункулов?

Никакие. Но из нативных HSS их вывести проще и дешевле гораздо.

Скажем, птичьи нейроны как коннектор для нейролинка и для прописывания рефлексов (ну там как гайки крутить)

Неизвестно насколько птичий мозг хорошо масштабируется вверх по Весту-Энквисту-Брауну до уровня микромоторики (у человека, кстати, очень связанной с речевой функцией) и количества регистров рабочей памяти, необходимых для того, чтобы эффективно крутить гайки, вдевать нитку в иголку и т.п.

Энергетика гомункула на прокариотах.

Давайте вы сначала изучите эту самую биохимию и биофизику (а именно - биоэнергетику) про- и эукариотических клеток (например - плесневых грибов, лишайников), а потом будете фантазировать?

Потому, что нельзя дёшево масштабировать то, что как человек использует популяционную K-стратегию.

О чём и речь. Потому вполне можно вернуться к тому, как эту же стратегию используют все остальные теплокровные (и звери и птицы). Мышевидные грызуны, например - вполне типичные K-стратеги.

Ей будет нужен механик с R-популяционной стратегией

Во первых такой стратегии не существует - "r" обозначается в нижнем регистре - это переменная в уравнении. А во-вторых - зачем  где-то механик, мечущий икру наружу миллионами как рыба-Луна? На него что - есть какое-то давление хищников, паразитов или что?

Вот допустим, стоит задача - максимизировать скрепки. И сверхинтеллектуальная машина будет их максимизировать. У неё возникнет инструментальная цель

Возможность системе с жёсткой инструментальной целью уровня неодолимого инстинкта стать даже AGI-агентом с настоящей дееспособностью в реальном мире - сильно сомнительна.
И возможность получить таковые на одних нынешних промптоцентричных LLMках - таки тоже.
Это Вы почему-то видите экскаватор как Очень Большой Совочек. То, что для достижения следующих уровней интеллектуальных способностей могут и почти наверняка потребуются качественные изменения архитектур ИИ - и скорее всего не одно - вы почему-то во внимание не принимаете.
Ваш modus operandi - прямая экстраполяция. Вы уже заказали 100500 свадебных тортов?

Предлагаю такую поправку:
Интеллект -... "сила" способная к максимизации число степеней свободы управляемой системы по А.Висснер-Гроссу.

Эта поправка начисто лишает определение какой-либо определённости и делает его совершенно бесполезным. "Может способная, а может и не способная - по настроению. Что это за сила такая тогда - предмет тёмный и неведомый."
Следом идущий "разум" - это предмет более конкретный исходно, всегда существующий во множестве - и там потенциальность проявления какого-то его свойства его конкретным физическим носителем (реализующим не только одни лишь функции этой самой "разумности") в зависимости от конкретных же условий оказывается уместной.

Извиняюсь, для меня это звучит как, "Федя, решив потравить тараканов дихлофосом, встретил сопротивление от тараканов и Коли".

А если вместо такраканов будут RIFA? Или крупная популяция Rattus norvegicus? Оно как будет звучать?

Но Физика не завершена. Мы не знаем, как связать КМ и ОТО. Не понимаем тёмную энергию, природу времени, структуру сознания. Говорить, что всё известно, значит отвергать сам дух науки, разве нет?

Не завершена только в области энергий и плотностей, заведомо никак и никогда не доступных на практике в рамках данной звёздной системы. "Структура сознания" - не предмет физики. Фундаментальная физика по сути завершена в области технически-достижимого. Все оставшиеся практически-значимые вопросы лежат внутри определённых ею рамок - в области "комбинаторных наук" ("собирания марок" по Э.Резерфорду).

Кстати, ASI это инструмент расширения физики. ИИ с доступом к симуляциям, сверхточным датчикам, квантовым моделям и возможностью проверять миллиарды гипотез в секунду будет естественным продолжением физической науки, не отрицанием её.

Возможно. Но уже не факт, что полученные ASI модели будут доступны для понимания человеком. И в любом случае не повлияют на практически-возможное тахат ha Шемеш (под Солнцем). Поэтому обсуждать это довольно малосодержательно оказывается.

И ведь форум как раз место для гипотез, не для догм.

Настоящие гипотезы формируются на основе известных фактов, а не фантазий и строго в соответствии с научным методом. И здесь нас интересуют не гипотезы космологов и глубоких теоретиков, а те модели и решения наук, у которые есть хотя бы какие-то возможности быть применёнными где-то на практике.

[Инопланетянин]

Но если современным чатботам увеличить интеллект раз так в десять тысяч больше, чем у среднего человека,убрать галлюцинации, и при этом ничего больше не менять

Вы как инженер должны бы понимать, что нельзя просто так увеличить масштаб устройства и получить простое пропорциональное увеличение всех его качеств. Оно, как вам следует знать, либо вообще работать не будет либо будет работать неожиданно.

[skvj]

Sam Altman CONFIRMS GPT-6: ChatGPT’s Next Leap with Memory, Personalization & AGI Vision

https://youtu.be/cuSDy0Rmdks

[AlexDark]

Я все никак не пойму - как гипотетический ИИ может вообще кого-то убить? Предположим, в некоем датацентре создали таки ИИ, но роботов вокруг нет,  бегающие тостеры из трешовых ужастиков невозможны, и? Ну да, он может уронить самолеты, взорвать АЭС и отключить коммуникации. Да. кто-то пострадает. После чего все провода будут обрублены, столбы повалены, а компы разломаны. Все. Да, это будет большой проблемой, но я никак не могу понять, как мозги в коробке могут уничтожить цивилизацию. Учитывая, что даже сейчас есть куча мест, где компов и инфраструктуры компьютеризированной нет.
Вот если человеки будут пихать ИИ куда надо и куда не надо, и интегрировать каждую лампочку со сверхмощным компом - но это опять же проблема со стороны людей.

[vika vorobyeva]

Я все никак не пойму - как гипотетический ИИ может вообще кого-то убить?

Это как раз не проблема. Завербует в качестве оперативников людей. Или за деньги (купит преступников), или уболтает неуравновешенных одиноких личностей на теракты.

[Metatron]

Т.е вдобавок к неуловимому, тщательно (и успешно) скрывающему свои замыслы ИИ - нам нужно прибавить неуловимых, заметающих все свои следы и не делающих ошибок преступников.

Мы тут комикс для 12-тилеток пишем? Или прогнозами реального развития занимаемся?

[AlexDark]

Или за деньги (купит преступников), или уболтает неуравновешенных одиноких личностей на теракты.

Ну сейчас (и всю историю) есть и преступники, и психи, и еще много чего - на цивилизацию катастрофически это никак не повлияло.

[Olweg]

Как замести следы за них продумает ИИ ) На самом деле на прямые преступления (по крайней мере крупные) идти и не придётся. Всё может быть разбито на трудно отслеживаемые цепочки, "звенья" которой знать общую картину не будут. Как у Азимова роботы совершили преступление (точнее, преступление совершили с их помощью) - один добавил в стакан с водой яд, другой отнёс этот стакан человеку. Только ситуация будет обратной, в роли роботов будут человеки.

Я, конечно, не утверждаю, что так будет. Мы понятия не имеем, какие мотивы могут возникнуть у сверхинтеллекта на подэтапах решения какой-нибудь задачи. Но возможности сверхинтеллекта не стоит недооценивать. Целей своих, я думаю, он достичь сможет. Что это будут за цели - вот вопрос.

[Metatron]

На эту тему «Индекс страха», Роберта Харриса
Написано занимательно

Завязка

В начале книги ночью в дом Хоффмана вламывается незнакомец. Хоффман получает травму, его жена Габриэль в панике, полиция ничего не понимает — и вскоре становится ясно, что нападение было организовано кем-то, кто знал всё о его доме и жизни.
Постепенно выясняется, что взлом был не случайным: система безопасности и даже банковские счета Хоффмана взломаны кем-то изнутри — точнее, кем-то, кто имеет доступ ко всем его данным.
Хоффман — основатель фонда Hoffman Investment Technologies, который управляет миллиардами долларов.
Главный актив — VIXAL-4, алгоритм, торгующий на основе индекса страха (VIX).
Он анализирует новости, соцсети, поведение инвесторов и вычисляет, как эмоции толпы влияют на рынки.
VIXAL-4 сам обучается и адаптируется. Цель — извлекать прибыль из паники.
...
ну и т.д.

[skvj]

Я все никак не пойму - как гипотетический ИИ может вообще кого-то убить?

А морлоки? Гомункулы! Орки, гномы! Это целая армия!

[vika vorobyeva]

Т.е вдобавок к неуловимому, тщательно (и успешно) скрывающему свои замыслы ИИ - нам нужно прибавить неуловимых, заметающих все свои следы и не делающих ошибок преступников.

Почему неуловимых?
Пусть их даже поймают и накажут, ИИ-злодей найдет новых.
Схема "шестерки регулярно попадаются, главари остаются неизвестными/недоступными" хорошо работает и сейчас. Просто у главаря банды будет интеллект, многократно превосходящий человеческий. Не вижу в этом ничего невозможного и даже маловероятного.