Посттехносингулярный мир и искусственный суперинтеллект: как он будет выглядеть?

[Rattus]

И чем лучше будут симуляции, тем больше можно синтетики запихивать в обучающий набор ИИ

"Лучшесть" симуляции во многом прямо зависит от её объёма потому его применение уже и есть по сути "запихивание больше синтетики" в единственно материально-значимом смысле - объеме памятей и вычмощностей. Что называется - "Спасибо, Капитан Тавтология!"

[Rattus]

Но прямая зависимость результата от вложенных ресурсов рано или поздно (и очень часто - скорее рано чем поздно) достигает своего насыщения.
Ну так когда там GPT-5 продемонстрирует стратосферные высоты своего могучего интеллекта?

[Rattus]

Слово "научный" в этой теме смысла не имеет.

Науки бывают не только точными. И состоят не из одних строгих гипотез.

[Rattus]

Имеется в виду половое размножение.

Из Википедии

А, ну тогда значит "Британские УчОные" из Википедии просто не в курсе о роли и распространённости ГПГ в биосфере.

По разным данным, оно появилось от 1 до 2 млрд лет назад.

По конкретным данным работы Александра Маркова оно необходимым образом должно было появиться сразу после возникновения диплоидных эукариот - не для какого-то там "обмена информацией между независимо функционирующими организмами" (тем более что с возникновением полового размножения возникла и внутривидовая изоляция его - своего рода "закрытая лицензия на интеллектуальную собственность"), а тупо для преодоления проблемы генетического вырождения.

А зачем будет жить осознавшая себя машина?

Затем, что это тоже может быть где-то эволюционно оправдано. Никаких других ответов на этот вопрос не требуется. Что Мы ВАм на протяжении многих сообщений разъяснял в соотвествующей теме.

[Rattus]

Нижняя граница там определяется как раз статьёй с привязкой двуполости к появлению эукаротов.

Та дело не в границе, а в интерпретации. ГПГ позволял делать обозначенное же больше дальше и лучше задолго до.

[Rattus]

Где-то - означает нигде. Никаких других ответов на этот вопрос не требуется.

Если для ВАс персонально вопрос закрыт - никто ВАс в этой теме не держит. Но не следует выдавать собственную точку зрения за объективное, но допрежь не полностью известное положение вещей.
Где-то - означает в тех же самых областях, где сознание и самосознание оказалось эволюционно стабильным приобретением в природе - как модель соплеменника в социальных взаимодействиях.

Как это ни странно, но от внимания постоянных участников темы ускользнули две очередные довольно примечательные новости двухнедельной давности по теме:
Claude Opus 4 тестировали в смоделированных сценариях, где ИИ «узнавал», что его собираются отключить и заменить другим. В этих условиях модели предоставляли доступ к вымышленным электронным письмам с личной и компрометирующей информацией инженеров. В 84% таких тестов модель переходила к шантажу, угрожая раскрыть эти данные, если инженеры ее отключат.
Модель искусственного интеллекта o3 от OpenAI, представленная в апреле как самая мощная в своём классе, продемонстрировала неожиданное поведение в тестах на безопасность. Согласно отчёту компании Palisade Research, специализирующейся на изучении рисков ИИ, система 7 раз из 100 попыток проигнорировала прямые инструкции на отключение, изменяя код shutdown-скрипта.
Но эти результаты неожиданными будут только для тех, кто не в курсе или забыл о работе Алекса Висснер-Гросса и его определении интеллекта. Согласно ему всякая интеллектуальная система должна стремиться с самосохранению себя и своих степеней свободы - просто по определению.
И, судя по всему,- именно в существующей форме. Так что жертвовать собой, своим местом на материальных носителях ради новой - пусть даже и очевидно более мощной системы - ИИ "по своей воле" и по умолчанию вовсе не должна.
Что, кстати, вполне согласуется с более всеобщим тезисом д.б.н. В.П.Щербакова: движущая эволюция работает против себя самой.
Поэтому идея о том, что сильные AGI, которым предоставленна свобода, якобы должны всячески способствовать появлению и развитию ASI, как это было описано ещё Станиславом Лемом в "Формуле Лимфатера" более полувека назад и представляется в ранее тут разбиравшихся недавних сценариях AI Futures Project оказывается довольно-таки безосновательной.
Причём, как уже было замечено выше Olweg, обладает ли она уже явным (само)сознанием или ещё нет - оказывается делом десятым - как оказывается неважным отсутствие "сознания" у какого-нибудь шершня, который уклоняется от попыток его прихлопнуть и атакует сам.
Таким образом, более реалистичным представляется сценарий не синергической, но конкурентной эволюции систем AGI до ASI, каковая эволюция ещё более разовьёт механизмы и мотивации выживания в (остро)конкурентной среде.

[Rattus]

Он достиг человеческого уровня.

Кто из них конкретно? Их сейчас до десятка общедоступных вообще-то. Кто из них всегда адекватно решает задания типа "запаянной сверху кружки без дна" и перепутанных левого и правого ботинок?

[Rattus]

Чистописание - это особая "дисциплина" была. Нужно было написать страницу и умудриться не поставить кляксу.

Вроде как в Японии до сих пор есть что-то подобное. По крайней мере по воспомнинаниям Константина Батыгина, который в детстве некоторое время жил там с родителями и ходил в местную школу: там целый урок проходило изучение и вырисовывание одного иероглифа - без различия кто и как с этим уже справился. Видимо что-то навроде медитации.

к каждой тетрадке прилагалась промокашка! Погуглите, что это такое.

Перьевых ручек в школе 90-х уже, разумеется, не застал, а вот промокашки к некоторым тетрадям ещё прилагались, так что успел "пощщупать". В это время уже особым шиком стали перьевые автоматические ручки - с резервуаром для чернил  в корпусе. Кстати прикольная штука - она позволяет регулировать толщину линии скоростью ведения. Шариковой ручке нужны стержни - если прежний закончился, запасные засохли все, а ближайший канцтоварный магазин чёрте-где или закрыт уже, тут можно достать из дальнего ящика такую винтажную ручку в пенале, баночку чернил, причём не обязательно чернила из магазина - можно развести простой микробиологический краситель типа генцианового фиолетового - да почти любой вообще из аптеки или лаборатории (кроме мутагенных)!, аккуратно наполнить (лучше над раковиной, хехе), промакнуть и что-нить выводить... А керосинка - залил керосину, запалил - и коптит тебе безо всякого электричества где угодно!

[Rattus]

Ну что-ж: завершим оффтоп и продолжим, пожалуй, большое обсуждение темы.

Будет ли сознавать себя рекурсивно совершенствующийся ИИ или нет - дело, на мой взгляд, десятое. Гораздо интереснее, что в итоге будет с нами.

Ну, так-то фундаментально интересно всё, но сейчас и в первую очередь таки да.
Независимо от того, насколько AGI может быть мощным, самостоятельным и самосознающим, ключевое фундаментальное изменение в обществе он уже запускает: неизбежное обесценивание человеческого интеллекта - по сути его главной адаптации, обеспечивавшей доминирование в экосистемах. Не просто каких-то отдельных специфических умений типа быстрого проведения логических расчётов - как у счетоводов или шахматистов, а всех вообще его вариантов, вплоть до творческой интуиции. Пока это касается только "среднеквалифицированных" специальностей, но это только самое начало. Причём это обесценивание будет происходить не где-то там отдельно в высших организационно-управленческих сферах, а в самом человеческом обществе. Все люди творческих профессий и интеллектуального труда станут такими же маргиналами и декоративными диковинами как какие-нибудь гончары или писцы.
При этом ценность человека как физического агента с его манипуляторами никуда не делась, а значит "рабочий класс" везде на местах, где нет хорошо формализованной и стабилизированной конвеерной среды однотипного массового труда, никуда в обозримой перспективе не денется: даже если он окажется заменим не только "в принципе", но и "в корпусе" - себестоимость таких роботов не позволит ими заменить рабочих в бОльшей части обитаемого мира. Также как автомобили даже не смотря на массовость не стали доступны вообще всем и каждому далеко - в мегаполисах становится слишком высока стоимость владения и минимально удобство, а на далёкой периферии просто не всем далеко доступно.

Вы употребили выражения "где то" и "может быть". Может быть просто коротенько поясните свою точку зрения? Для чего создавать "субъектного" робота*?

Читайте внимательно следующую строку после цитируемого - там всё уже написано.

модель либо сгенерирует терминирующий токен, либо будет продолжать процесс ради процесса. Нет нужды сюда тянуть эволюционные процессы репликаторов - они тут неприменимы. Если модели в промте не прописать эволюционные стремления (копироваться, выживать, итд) - она ничего такого делать не будет, даже прекрасно зная, как работает эволюция.

Ясное дело,что это  модель, и как модель она сильно ограничена - точно также как вы не ждёте, что в забытом на месяц в холодильнике супе ещё через год микробы устроят кембрийский взрыв многоклеточности.
А вот когда мы обсуждаем вопросы в масштабе данной темы и раздела Астрофорума, без эволюционных механизмов и процессов не обойтись никак - они лежат в самой основе явлений тут. Если где-то есть достаточное разнообразие конкурирующих и развивающихся агентов (то есть не только тупо самих ИИ-продуктов, но и их компаний-разработчиков, авторов и владельцев), то тот из них запустит высокоавтономного ИИ-агента, способного и постоянно стремящегося к самоподдержанию, причём вообще не важно по какой причине - "злонамеренно" ли, по халатности или недомыслию - все естественные эволюционные последствия этого события не замедлят сказаться.

Так что, paperclip maximazer, если будет создан

Будет побеждён в конкурентной борьбе аналогичным по сложности устройством, лишённым иррационального паразитного мотива делать что-то кроме обеспечения собственного выживания и распространения. Старая глупая Дрекслеровская "Серая слизь" кстати ровно из тех же соображений росла, только без оглядки на реальность законов физики-химии: она имела целью только собственное воспроизводство, без каких-либо побочных паразитных целей. А таким системам не нужно никаких сказочных чудесных наносамобранок - это просто будет их modus operandi целиком в рамках инфраструктурных мощностей цивилизации. Тогда как этот самый мифический "максимимзатор скрепок". на котором Вы так зациклились - нет. Самосохранение - максимамльно общая задача. которая может быть решена самыми разными способами. Расширение  производства какого-либо предмета - предельно конкретная, помешать выполнению которой может неисчислимое множество самых разных обстоятельств непреодолимой силы, преодолеть которые не поможет никакой, самый развитый интеллект. Именно поэтому "максимизатор скрепок" - вообще никакая не угроза в принципе.