Посттехносингулярный мир и искусственный суперинтеллект: как он будет выглядеть?

[AlexDark]

А смысл в этом? Железные роботы, заточенные под нужные задачи, проще, быстрее и выгоднее. Как минимум делать их быстрее и систем жизнеобеспечения не нужно.

Хотя пообщался я тут с ГРОКом - если ИИ и будет когда-либо создан, то это будет  явно не в ближайшее (измеряемое в веках) время. Ну и само общение с ним - как общение с не совсем адекватным человеком - газлайтинг, черри-пикинг и прочее, попытки манипулирования, какие-то непонятные претензии, игнорирование неудобных фактов и тд и тп - это если на отвлеченные темы общаться. На конкретные темы он тоже изрядно привирает или выдает нерелевантную информацию.

[Polnoch Ксю]

смысл в этом? Железные роботы, заточенные под нужные задачи, проще, быстрее и выгоднее.

скорее всего, да. Просто я оппонировала Ratus, почему я считаю его слишком оптимистом, в его, ИМХО, беспочвенных надеждах, что людишки будут нужны ASI сколько-нибудь продолжительное время.  Парадокс Моравека, если реализуется, только задержит глобальный геноцид, а не отменит его.

Хотя пообщался я тут с ГРОКом

Он не очень, да. Мне кажется, сейчас лучшие модели для отвлеченных, но сложных тем это как ни странно o1 (хотя для программирования o3-mini-high тоже норм), и claude-4.7. Последний лучше всех для кодинга, имхо. И единственный из всех чётко сообщает, когда у него заканчивается контекстное окно - предотвращает риск, что забудет что-нибудь.

Ещё для работы с большими источниками, не знаю, например, с научпоп книгами, хорошо подходят модели гугла (особенно те, у которых chain-of-thoughts) из-за огромного контекстного окна - в них можно загрузить что-то, и надеяться, что модель не забудет то, что в середине большого текста, как это обычно бывает у всяких гроков и опенAI.

Так же, кажется, все пропустили то, что Гугл зарелизил модельку, которая, наконец, научилась нормально редактировать картинки, вместо перегенерации их полностью: https://aistudio.google.com/prompts/new_chat - нужно выбрать Gemini 2.0 Flash (Image Generation) Experimental

Ну и новость о релизе опенсурсной gemma3 от гугла - вполне на уровне deepseek, но при этом помещается в единственную видеокарту!
https://ollama.com/library/gemma3 - вот тут можно скачать и потыкать. Ждём, когда оторвут цензуру. Уже есть первые успехи:

https://www.youtube.com/shorts/OFeiTz3vpTE

[BlackMokona]

Хотя пообщался я тут с ГРОКом

Какой версии?

[AlexDark]

И 2 и 3, примерно одно и то же. 3 только очень часто падает с ошибкой.

[BlackMokona]

И 2 и 3, примерно одно и то же. 3 только очень часто падает с ошибкой.

Ну у меня Грок 3 совсем другое впечатление произвел.
А что вырубался, так там на все ресурсы Маска масштабная кибератака шла

[Rattus]

у пчёлок всё хорошо с моторикой: строят себе соты.

Есть некоторая разница между лепкой одинаковых цилиндрических полостей ростом с себя и сбором готового сиропчика с обозначенных мест посадки - и сборкой/разборкой тысяч всеразличных механизмов различного назначения, сортировкой их деталей, а также мусора, добычей руд в шахтах, заливкой фундаментов и сборкой стен так, чтобы они не треснули после зимы, перекрытием крыш так, чтобы они не рухнули, попаданием в вену сородичу и выращиванием потомков, делать это умеющих достаточно хорошо.
Человекам для всего этого уже сотни лет не нужно никаких внешних вычислительных устройств и вообще каких-либо инструментов с редкими элементами. А вот без речи (т.е. и разума) это не очень-то получается.

Тогда AGI-автономный агент по приказу ASI, осуществляющего стратегическое управление, даёт высокоуровневые команды "юнитам"-гомункулам: скажем, установить вот этот блок туда, или сюда. Или наоборот снять.

И проигрывает ASI, который послал команду натренированных лысых приматов любой степени (не)модифицированности пробраться в это хрустальное царство предельной специализации, разобрать там всё по винтикам с помощью распатера Фримана и унести весь найденный цветмет себе на базу. Ибо "Петрович, подай ключ на тридцатьшесть" реализуется куда дешевле и проще  всего, что Вы тут насочиняли.

А в дуги птичьего мозга, в рефлексы, можно вставить базовые навыки, например, навык отворачивать болты.

Всю номенклатуру болтов, гаек, винтов, саморезов, заклёпок, хомутов, стяжек во всех возможных местах. А также навыки снятия, установки и смазывания подшипников, слива и залива смазывающих, гидравлических, теплоотводящих и прочих жидкостей в соответствующие резервуары и т.д. и т.п.
Вы под капот автомобиля хоть раз заглядывали? Или в недра газонокосилки хотя бы? А ведь со всем этим добром вполне справляется всего одна лысая обезьяна даже без верхнего образования, имя которой - Автомеханик.
А хотите птичьего - ну можно и птичьего, наверное - всё равно вОрон, какаду, мартышка и енот в размерном классе отличаются даже не на порядок далеко. Если по-настоящему говорящее, умелое и действующее двуногое с перьями для ВАс менее достойно обладать правами человека, то можно лишь констатировать ВАш зоологический специесизм и ксенофобию - только и всего.

[ivanij]

А в дуги птичьего мозга, в рефлексы, можно вставить базовые навыки, например, навык отворачивать болты.

Можно, но... не нужно. Такие рефлексы проще отработать у людей. что и делается вполне успешно на протяжении прошедших почти 150 лет.
Это

Всю номенклатуру болтов, гаек, винтов, саморезов, заклёпок, хомутов, стяжек во всех возможных местах.

и это

Вы под капот автомобиля хоть раз заглядывали? Или в недра газонокосилки хотя бы? А ведь со всем этим добром вполне справляется всего одна лысая обезьяна даже без верхнего образования, имя которой - Автомеханик.

совершенно разные навыки. Автомеханик для отворачивания/заворачивания болтов слишком высокая квалификация.

[Rattus]

Автомеханик для отворачивания/заворачивания болтов слишком высокая квалификация.

Ну да - у него для этого есть подмастерье. Вот вдвоём обычно и оживляется любой механизм, отделывается любой интерьер и сворачиваются почти любые горы. Потому и ситхов всегда двое.

[ivanij]

Автомеханик для отворачивания/заворачивания болтов слишком высокая квалификация.

Ну да - у него для этого есть подмастерье. Вот вдвоём обычно и оживляется любой механизм и сворачиваются почти любые горы.

Все вопросы к Фреду Тейлору. Он на них ответил более 100 лет назад. Жаль, дальше 1915 года не протянул, увы...
Конкретный материал здесь: https://pqm-online.com/assets/files/lib/books/tailor.pdf
и здесь: https://rusneb.ru/catalog/000219_000011_RU_%D0%93%D0%9F%D0%9D%D0%A2%D0%91_%D0%A0%D0%BE%D1%81%D1%81%D0%B8%D0%B8_IBIS_0000649069/

 И, наконец, наш соотечественник: https://traumlibrary.ru/book/gastev-kak-nado-rabotat/gastev-kak-nado-rabotat.html. Алексей Капитонович плохому не научит. Жаль, что его фамилия у нас сохранилась только в названии улицы нового квартала и оформлении станций метро...

[Polnoch Ксю]

что и делается вполне успешно на протяжении прошедших почти 150 лет.

между прочим, это всего чуть больше чем на порядок дольше современной продолжительности жизни в развитых странах. А биореактор с клетками-аналогами HeLa (и условная 3d биопечать клетками из геля вроде HeLa с отключаемыми генами неограниченного размножения ) мог бы производить тысячи и тысячи поколений гомункулов за это время. И ASI мог бы отбирать лучших для своих задач

И проигрывает ASI, который послал команду натренированных лысых приматов любой степени (не)модифицированности пробраться в это хрустальное царство предельной специализации, разобрать там всё по винтикам с помощью распатера Фримана и унести весь найденный цветмет себе на базу.

нет, потому, что это

1) военные действия со всеми вытекающими
2) гомункулы будут снабжены интеллектом автономных AGI-агентов. Уже сейчас небольшие модельки помещаются в условный смартфон.  Ну и думаю, что на территории ASI, в сценарии, о котором мы говорим, везде будет связь (аналог 5g, или прямая лазерная с портами-приемниками сигнала, а дальше по оптике). То есть, у гомункула будет не только мозг пчёлки на стероийдах с птичьими нейронами, и нейролинк с коннектом к ASI и автономным AGI агентам, решающим задачи в интересах ASI, но и какая-то более простая модель на месте, которая как раз будет отвечать за здравый смысл.

3) в редких случаях ASI может и напрямую управлять отдельными юнитами

Напоминает байки о народной смекалке. Чрезмерно оптимистичные, увы.

[Инопланетянин]

1) военные действия со всеми вытекающими

А если гомункулолюбивый ИИ начнёт их первыми? А лысые обезьяны будут дополнительно мотивированы тем, что если тот ИИ до них доберётся, то тоже всех уничтожит и заменит "гомункулами"?

[ivanij]

между прочим, это всего чуть больше чем на порядок дольше современной продолжительности жизни в развитых странах. А биореактор с клетками-аналогами HeLa (и условная 3d биопечать клетками из геля вроде HeLa с отключаемыми генами неограниченного размножения ) мог бы производить тысячи и тысячи поколений гомункулов за это время. И ASI мог бы отбирать лучших для своих задач

О да, конечно! Только есть ли в этом такая уж необходимость? Вы что же "Новые времена" никогда не видели? У нас студенты этот фильм знают 
Для отворачивания/заворачивания гаек биореактор вряд ли нужен.

[Rattus]

А биореактор с клетками-аналогами HeLa (и условная 3d биопечать клетками из геля вроде HeLa с отключаемыми генами неограниченного размножения) мог бы производить тысячи и тысячи поколений

клеток и тканевых заготовок для имплантации. Отношения к обсуждаемой теме эта весьма ресурсозатратная технология не имеет.

военные действия со всеми вытекающими

Которые практически неизбежны при наличии конкурирующих хозяйствующих субъектов при накоплении большой разницы в возможностях эффективной инвазии.
Вы уже победили всех тараканов во всех принтерах, красных огненных муравьёв, борщевик Сосновского и все новые штаммы гриппа А?
Необходимо не упускать из виду тот факт, что Homo sapiens стал убиквитарным видом задолго до того как стал цивилизованным. А убиквитарные виды гораздо более устойчивы на геологическом масштабе времён. При этом колебания численности даже на порядки в этом масштабе - обычное дело, тогда как жизнеспособность как таковая может быть объективно определена только по конечной точке.

гомункулы будут снабжены интеллектом автономных AGI-агентов. Ну и думаю, что на территории ASI, в сценарии, о котором мы говорим, везде будет связь (аналог 5g, или прямая лазерная с портами-приемниками сигнала, а дальше по оптике). То есть, у гомункула будет не только мозг пчёлки на стероийдах с птичьими нейронами, и нейролинк с коннектом к ASI и автономным AGI агентам, решающим задачи в интересах ASI, но и какая-то более простая модель на месте, которая как раз будет отвечать за здравый смысл.

А скатерти-самобранки будут снабжены философским камнем. А на гильотинируемом должна быть густая шевелюра.
Не следует забывать, что интеллект - это только лишь ИНСТРУМЕНТ выживания самовоспроизводящихся систем. Причём довольно дорогой по ресурсам в любой реализации. А значит естественный отбор в длительной перспективе направлен на ОПТИМИЗАЦИЮ расходов на него. Поэтому его сложность будет ровно такой, которая необходима для выживания в исторически-длительный срок. И "ни токеном больше". Единственный вариант, когда включается положительная обратная связь на усиление интеллекта - это состояние эволюционной гонки вооружений. Каковая гонка не существует долго, когда есть только один хозяйствующий субъект.

[Серый Страж]

Не следует забывать, что интеллект - это только лишь ИНСТРУМЕНТ выживания самовоспроизводящихся систем.

Про самовоспроизводящиеся системы пояснял, например, здесь:
https://astronomy.ru/forum/index.php/topic,3147.msg5997626.html#msg5997626

Напомню ваш ответ:

Репликация, это только способ сохранения своей структуры именно для таких неустойчивых химических систем, как живые системы нашего типа жизни

Только фокус в том, что абсолютно устойчивых сложных химических систем в природе не существует в принципе - согласно второму началу термодинамики. А значит и другого способа сохранения структуры на астрономическом масштабе времён - тоже не существует. Именно поэтому данный процесс вполне годится в качестве абсолютного критерия жизни.

Не согласен с вашим выводом, не годится данный процесс (репликация) в качестве абсолютного критерия жизни, он годится только в качестве относительного признака (важного, но всего лишь «одного из») жизни. Я вот лично (да и вы тоже) не реплицируемся же в данный момент, но вполне себе живые оба. Мало того, для выявления того, что мы живые в данный момент, не надо никаких там астрономических масштабов времён.

Живая система отличается от косной наличием внутренней «закольцовки». Понятно, что тип (и уровень) «закольцовки»  должен соответствовать типу (и уровню) жизни (наша жизнь химического типа, и соответственно,«закольцовка» базового уровня тоже должна быть химической). «Закольцовки» нашего типа жизни на базовом уровне – это гиперцикл сложных химических реакций, продукты реакций последнего этапа которого являются реагентами для первого этапа реакций.

Про разум и его отличие от интеллекта (а также, откуда берётся стремление к самосохранению) пояснял, например, здесь:
https://astronomy.ru/forum/index.php/topic,86900.msg6050504.html#msg6050504

Интеллект системы – это вычислительный функционал (практически в физико-математическом смысле слова) системы.
Разум системы – это способность системы реализовать стремление к самосохранению средствами интеллекта.

Поэтому, обозвать интеллект инструментом, который используется системой для реализации своего стремления к самосохранению, на мой взгляд, вполне допустимо.

А инструмент он и есть инструмент. У косных систем данный инструмент тоже в наличии и неплохо функционирует (системы ИИ тому подтверждение). Но функционирует он безотносительно пользы или вреда для самой косной системы (для её самосохранения, так сказать). А вот если этот инструмент используется по желанию или в целях самой системы (например, для выполнения её желания, для её выживания, в целях её выживания), то это уже разум.

Мало того, если смотреть обобщённо (с самой широкой точки зрения), то любая система обладает интеллектом (вычислительным функционалом), поскольку: любые физические процессы в структуре любой системы являются одновременно и информационными процессами, любые направленные информационные процессы являются вычислениями, любые вычисления связанные/сопряжённые с внутренней «закольцовкой» системы (либо уже сами вычисления «закольцевались») являются мышлением.

То есть, интеллект присутствует в любой косной системе, а вот разум присутствует не в любой, а только в живой.

И в заключении по теме.

Суперинтеллект, это не суперразум (и даже, не просто обычный разум), у него ведь нет своего стремления выжить (или жить лучше), нет своих желаний (как производных стремления к самосохранению) выжить (или жить лучше), нет своей внутренней мотивации что-то делать. Соответственно, у него нет и собственных целей, нет собственной воли (как производной от приоритета желаний), нет представлений о пользе для себя (или о вреде для себя). Люди постоянно путают и смешивают понятия интеллект и разум...

Давно уже надо понять, что: тупое наращивание вычислительной мощности, наращивание разнообразия вычислительного функционала, наращивание объёма и разнообразия знаний и т.д. и т.п., не приводит автоматически к появлению разума. Для появления разума необходимо наличие в системе «закольцовки» (спонтанно возникшей или искусственно сформированной) на общесистемном уровне. Например, для существующих систем ИИ нужна «закольцовка» (на общесистемном уровне) из вычислительных процессов, постоянно (или циклически) воспроизводимая внутри вычислительной системы (то есть, как бы, самосохраняющаяся внутренняя «закольцовка»).   

[Rattus]

Я вот лично (да и вы тоже) не реплицируемся же в данный момент, но вполне себе живые оба. Мало того, для выявления того, что мы живые в данный момент, не надо никаких там астрономических масштабов времён.

Если не надо (хотя это кагбе основная тематика данного форума согласно его названию), то на молекулярном и клеточном уровне - ещё как реплицируемся. Причём есть довольно чистый способ это практически полностью остановить - тяжёлая форма лучевой болезни - вплоть до мозговой. Неизбежная смерть в сильных мучениях в течение нескольких суток.

Живая система отличается от косной наличием внутренней «закольцовки».

Не нужно пытаться придумывать новые синонимы для уже хорошо описанных явлений.

Но функционирует он безотносительно пользы или вреда для самой косной системы (для её самосохранения, так сказать).

Настройка в сторону пользы происходит под действием дарвиновского механизма и ничего иного.

А вот если этот инструмент используется по желанию или в целях самой системы (например, для выполнения её желания, для её выживания, в целях её выживания), то это

называется просто адаптивный признак.

любые физические процессы в структуре любой системы являются одновременно и информационными процессами

Согласно принятому в разделе определению информации - это не так. Только процессы, связанные с интерпретацией массива данных.

[Polnoch Ксю]

между прочим, это всего чуть больше чем на порядок дольше современной продолжительности жизни в развитых странах.

Что я несу? Конечно же, чуть больше чем в два раза

А если гомункулолюбивый ИИ начнёт их первыми? А лысые обезьяны будут дополнительно мотивированы тем, что если тот ИИ до них доберётся, то тоже всех уничтожит и заменит "гомункулами"?

Я думаю, никаких гомункулов не будет, Парадокс Моравека временное явление - он поможет тому, чтобы в мире AGI, но без ASI, который скоро настанет, у людей было своё место. Но потом он будет преодолён и ASI будут обслуживать роботы. Будут технологии без редкозёмов, и/или редкозёмы будут возиться со всяких Психей.

Но даже если я не права, и будут гомункулы, я думаю, у людей не будет шансов. Весь наш эволюционный успех связан с тем, что мы были самыми умными. Мы хорошо умеем три вещи: бегать по саване: мы хорошие марафонцы, жить в трайбах, и думать. В индустриальном и постиндустриальном обществе, которое вовсе не трайбовое общество, мы получили от трайбового мышления множество проблем. Вот, например, мы не оказались достаточно умными, чтобы преодолеть очевидную трагедию общин в теории игр и договориться всем человечеством, попытаться сделать AI aligment.
А множество людей в ВЖР почему-то не понимают ценности глобализации, и всеобщего гуманизма как общей идеалогии: куча людей всерьез говорила о том, что от глобализации есть проблемы, или о том, что холодная или горячие войны это хорошо.
Мы уже проиграли будущему rogue ASI, потому, что не сумели даже поставить во главе нас самых умных, гуманных и наименее эгоистичных, кто бы мог преодолеть наше проклятие с донеолитических времён(в те времена это и правда помогало): готтентотскую мораль, готовность расчеловечить чужаков и тех, кто в них назначен обществом. Мы сделали ещё хуже: поставили во главе нас даже не посредственностей, а буквально худших людей, которые менее всего годны для этой работы. Примеры:  Роберт Кеннеди, решение минздрава РФ о навязывании гомеопатии, см. видео Панчина: https://youtu.be/EPjSIbOg0Hg

[Инопланетянин]

Я думаю, никаких гомункулов не будет

Странно, я и Раттус тут тоже об этом.

А множество людей в ВЖР почему-то не понимают ценности глобализации

А можно вы тут свою пропаганду вещать перестанете?

потому, что не сумели даже поставить во главе нас самых умных, гуманных и наименее эгоистичных

У нас с этим чуток получше, но не будем мериться президентами. Просто интересно, а если ИИ тоже окажется эгоистичным и не очень гуманным? Представляете неожиданность?

[Polnoch Ксю]

Просто интересно, а если ИИ тоже окажется эгоистичным и не очень гуманным?

ещё бы он ни был таким: мы сделали всё, чтобы провалить сверхзадачу человечества  - добиться AI Aligment'а. Мы провалили её даже не начиная, благодаря тупым и злым людям, которые загадили всем мозги своим бредом.

А можно вы тут свою пропаганду вещать перестанете?

Нигде в правилах нет запрета на то, чтобы рассказывать о том, почему глобализация - это буквально лучшее, что когда-либо делало человечество. А ненависть к ней порождается тем самым трайбовым мышлением, ксенофобией, которая управляет людьми, делает нас тупыми, озлобленными животными, портящями жизнь себе и окружающим

[Инопланетянин]

Нигде в правилах нет запрета на

Политику? Есть. Я вот отвечу почему глобализация - зло. И забанят нас обоих.

ещё бы он ни был таким: мы сделали всё, чтобы провалить сверхзадачу человечества

Прям даже не знаю - возможно ли это термодинамически, чтобы изделие было сложнее сделавшего?

[Polnoch Ксю]

Нигде в правилах нет запрета на

Политику? Есть. Я вот отвечу почему глобализация - зло. И забанят нас обоих.

А Вы не пишите политику. Я могу написать (в другом треде, чтобы не оффтопить) почему глобализация это очень хорошо из социально-экономических соображений, и притащить множество пруфов, академических публикаций этого.