Посттехносингулярный мир и искусственный суперинтеллект: как он будет выглядеть?

[Ulkolainen]

И уровень контроля тут может быть таким, о котором короли-императоры-диктаторы прошлого могли только мечтать.

Если технически это станет реализуемым, политически будет реализовано сразу же.
Власть не мечтала, она контролировала подданных всегда настолько, насколько физически могла это делать. Соглядатаи, стукачи, филеры, агенты влияния... - всё было и всё упиралось в ёмкость казны и в человеческий фактор а-ля "кто будет сторожить сторожа?"
А сегодня у двери отдела кадров маячит сторож, которому чуждо всё человеческое - куда уж тут сомневаться, наймут его или не наймут?!

[Еловая шишечка]

У нас тут согласно названию темы сверхразумный ИИ с iq 300+

От верификации напроектированного это никак не избавляет. Тем более, у гениального ИИ и ошибки будут гениальные - такие, до которых обычный человек нипочём не догадается.
Что же касается сотни баксов, то это вообще невероятно. Пока что непонятно даже, во сколько раз большие нужны датацентры по сравнению с существующими, так что даже амортизация может влететь в большую сумму. Не говоря уже об отбитии первоначальных вложений.

[Olweg]

Пара любопытных экстраполяций.

Тенденция к постепенной автономизации моделей, то есть времени их автономной работы. Обратите внимание, что ось Y - логарифмическая! Поэтому - не просто экспонента, а двойная экспонента вида f(x) = a^bx. Такими темпами к началу 2027 ИИ смогут размышлять над задачей до 10⁴ минут, то есть около недели, а к концу того же года - до нескольких месяцев! Конечно, если сама архитектура не претерпит изменений, и не возникнет ещё большее ускорение.


https://daveshap.substack.com/p/fast-takeoff-means-different-things


Насыщение бенчмарков в ближайшие пару лет (по ссылке есть ещё графики).


https://epoch.ai/blog/what-will-ai-look-like-in-2030

Также с просторов бывшего Твиттора:

Соучредитель Anthropic Джек Кларк говорит, что в ближайшие 16 месяцев…

Искусственный интеллект станет умнее лауреата Нобелевской премии
- и-
сможет выполнять задачи, на выполнение которых уйдут дни, недели или месяцы

Короче говоря, по словам Джека Кларка, искусственный интеллект будет сродни “колл-центру гениев” или “стране гениев”.

Да, к прогнозам Антропик нужно подходить с осторожностью (как и к любым другим), но… не будем забывать о пророчестве!
https://russian7.ru/post/konec-sveta-nastupit-13-noyabrya-2026-goda-k/

[Combinator]

Да, к прогнозам Антропик нужно подходить с осторожностью (как и к любым другим), но… не будем забывать о пророчестве!
https://russian7.ru/post/konec-sveta-nastupit-13-noyabrya-2026-goda-k/

Да все они там в этой тусовке талдычат примерно об одном и том же, вот, например, отрывок из сегодняшнего поста в ФБ C. Карелова:
===================================
Забудьте про AGI и ASI
От одной лишь способности прогнозировать и совершать действия на долгих временных горизонтах захватывает дух
И я думаю, что к концу следующего года у нас это в основном будет.
Это сказано уже не мною, а Мустафой Сулейман, генеральным директором Microsoft AI и соучредителем Google DeepMind в новом почти 2-х часовом интервью «Спасёт ли ИИ человечество или положит ему конец?» [1]
Вы не потеряете время, прослушав все это долгое видео.
Я же лишь обращу ваше внимание на его ключевой фрагмент, текст которого таков:
«Я довольно ясно вижу, что нас ждёт дальше.
На данный момент эти модели всё ещё остаются механизмами однократного предсказания. Понимаете, вы задаёте вопрос — получаете ответ. Модель выдаёт единственное правильное предсказание в момент времени T, но вы как разумный человек, и вообще любой человек, да и многие животные непрерывно производят поток точных предсказаний — будь то решение о том, как встать с этого кресла, или представление, скажем, этого растения в фиолетовом цвете вместо зелёного.
Я – это постоянно действующий механизм точных предсказаний. Сегодняшние модели — это всего лишь механизмы одно-двухшагового предсказания. Они не могут выстроить план во времени.
А то, как вы решаете добраться домой сегодня вечером — сначала встать с кресла, потом открыть дверь, потом сесть в машину и так далее — вы можете развернуть это идеальное предсказание всей последовательности ваших действий вплоть до возвращения домой. И это просто вычислительное ограничение.
Я не думаю, что существует какое-то фундаментальное — алгоритмическое или даже связанное с данными — ограничение, которое мешает большим языковым моделям и подобным системам делать идеальные, последовательные предсказания на очень, очень длительные периоды времени.
Да. И что же нам делать с такой технологией? Ну, это будет невероятно похоже на человека. Если у неё будет идеальная память — которой пока нет, но память уже очень хорошая — тогда она сможет опираться не только на своё знание мира, на предобученные данные, но и на личный опыт — опыт взаимодействия с вами и всеми остальными людьми, хранить это как постоянное состояние и затем использовать для последовательных предсказаний того, как будут разворачиваться события в очень, очень, очень длинных последовательностях действий. Это будет невероятно похоже на человека и немыслимо мощно.
И точно так же, как сегодня у нас в кармане есть своего рода сверхразум, который может мгновенно ответить на любой вопрос, — мы просто не замечаем, насколько это невероятно. То есть это безумие. Это абсолютное безумие, насколько хороша эта технология прямо сейчас. А все только: «Да ладно, особо не пользуюсь». А вы пользуетесь? Немного, я говорил об этом, типа: «Да ладно вам, посмотрите — это же волшебство. Волшебство у вас в кармане».
А теперь представьте, когда она сможет не просто отвечать на любые вопросы о поэзии или какой-нибудь случайной физической задаче, но реально совершать действия на бесконечно долгих временных горизонтах.
Вот это да. Забудьте про определения сверхразума или общего искусственного интеллекта. Уже одна только эта способность — захватывает дух.
И я думаю, что к концу следующего года у нас это в основном будет.»
И еще:
«… они — своего рода цифровые люди. И это пороговая трансформация в истории нашего вида, потому что они не инструменты. Они явно не люди. Они не часть природы. Это требуют от нас четвёртого типа отношений к ним – как к новому эмерджентному виду... Я не знаю, как это описать, кроме как четвёртый тип отношений.»
==================================
Ну что же, поглядим, осталось лишь пару лет, надеюсь, доживём до этого нового дивного мира.
 

[Olweg]

Да, видел про это интервью, надо будет глянуть.

[Combinator]

Да, видел про это интервью, надо будет глянуть.

https://www.youtube.com/watch?v=tQ5wO1lznCQ
если что.

[BlackMokona]

У нас тут согласно названию темы сверхразумный ИИ с iq 300+

От верификации напроектированного это никак не избавляет. Тем более, у гениального ИИ и ошибки будут гениальные - такие, до которых обычный человек нипочём не догадается.
Что же касается сотни баксов, то это вообще невероятно. Пока что непонятно даже, во сколько раз большие нужны датацентры по сравнению с существующими, так что даже амортизация может влететь в большую сумму. Не говоря уже об отбитии первоначальных вложений.

Однако верификация пройдет мгновенно или почти мгновенно. Из-за продуманности.
А по цене. Вот совсем недавно вышел Грок -4 фаст, по уровню мозгов на уровне Грок-4, но в 49 раз дешевле. Оптимизация там идёт безумная

[Olweg]

А по цене. Вот совсем недавно вышел Грок -4 фаст, по уровню мозгов на уровне Грок-4, но в 49 раз дешевле. Оптимизация там идёт безумная

Интересно, что такие мелкие модели проще научить рассуждениям:
https://telegram.me/seeallochnaya/2892

И тут я как раз хотел поговорить про то, почему так может быть, почему это естественно и какой из этого вывод. Если модель кратно меньше фронтир-модели, то с ней можно сделать гораздо больше итераций RL-дообучения, или как раз обучения рассуждениям и вызовам инструментов/поиску.

Чем более задача требовательна к рассуждениям и чем меньше знаний для неё нужно (а это как раз базовые математика/программирование) — тем больше модель разгонится. Банально потому, что за X вычислительных мощностей можно сделать условно Y проходов по корпусу задач для фронтир-модели, и 10 * Y — для маленькой. За счёт большего количества попыток рассуждать LLM может и научиться это делать более эффективно (короткие цепочки рассуждений), и формировать длинные цепочки вызовов и вычислений.

То же наблюдалось у OpenAI — до сих пор есть несколько бенчмарков, где o4-mini в топе и/или совсем слегка уступает свежим моделям.

[Rattus]

Буквально то, о чём так долго говорили большевики писал тут в.п.с., теперь исходит из уст главного на планете по аппаратной части ИИ:
Генеральный директор Nvidia Дженсен Хуан на выступлении в Великобритании в интервью Channel 4 заявил, что для развития ИИ‑технологий самыми ценными кадрами станут те, кто умеют работать руками. Обслуживание ИИ‑систем требует большого количества рабочей силы и сложнейших систем, включая охлаждение, сетевые соединения и электропитание, а также строительства новых ЦОД.

[BlackMokona]

Буквально то, о чём так долго говорили большевики писал тут в.п.с., теперь исходит из уст главного на планете по аппаратной части ИИ:

Не думаю, что этим может заниматься хоть какая то значительная часть человеков. Стройка ЦОДов как показывает опыт Маска может происходить крайне стремительно, а для обслуживания много людей то и не нужно. И ведь там большой потенциал для автоматизации обслуживания.

[BlackMokona]

Для примера. Заместо классических ЦОД, строить модуль блоки на заводах размером с морской контейнер. По аналогии с МегаПаками. А потом просто размещать их на площадке в любом нужном количестве. Добавляя сетевые блоки и блоки питания в определённой пропорции да подключая их максимально простым соединением. С чем справятся даже текущие роботы. Останется только электричество подвести. Но тут можно использовать комбо из батарей и солнечных панелей. Которые тоже можно разместить весьма примитивно. Оптику остаётся только прокладывать за людьми?

[Olweg]

Очередное открытое письмо с призывом  остановить неостановимое:
https://www.ixbt.com/news/2025/10/22/bolee-800-publichnyh-lichnostej-vkljuchaja-krjostnyh-otcov-ii-i-figur-iz-mira-nauki-podpisali-otkrytoe-pismo-s.html
https://telegram.me/hiaimedia/2521

Открытое письмо НКО «Института "Будущее жизни"» призывает к мораторию на создание сверхинтеллекта (AGI) — ИИ, который превзойдет человека в любых задачах.

Инициативу подписали более 37 тыс. человек, в том числе сооснователь Apple Стив Возняк, сооснователь Stability AI Эмад Мостак, экс-президент Baidu Я-Цинь Чжан, советник Папы Римского Паоло Бенанти, принц Гарри и Меган Маркл, лауреаты премии Тьюринга и Нобелевской премии — в том числе «крестный отец ИИ» Джеффри Хинтон.

Авторы признают пользу от ИИ, но считают, что сверхразум, который вероятно появится уже через год-два может поработать людей или даже полностью уничтожить.

[Trend]

сверхразум, который вероятно появится уже через год-два может поработать людей

Какой хороший неологизм. Наверное опасаются, что заберет у них всю работу и им придется перестать чесать языком и идти разнорабочими. Через год-два посмотрим насколько реальны перспективы и органичения БЯМ. Перестал вообще верить всяким предсказателям будущего после определенных событий.

[Olweg]

В оригинале, кстати, говорится про ближайшее десятилетие, про "год-два" уже переводчики додумали (ну или чьё-то особое мнение из подписантов).

[Metatron]

Недавно был всплеск работ для инженеров создающих промпты.
Перед этим был всплеск работ для людей размечающих имиджи для того чтобы ИИ знали где что.
Опять же была работа - проставлять оценки ИИ насколько хорошо он справился с заданием.

И все эти работы уже идут на спад. Становятся не нужными.

Боюсь то же самое будет с работами людей обслуживания Дата Центров.
2-10 лет они продержатся - а потом будут заменены как и все остальные.

[Rattus]

Боюсь то же самое будет с работами людей обслуживания Дата Центров.

Эти работы кагбе существуют уже лет восемьдесят - с появления  этих самых дата центров.

[skvj]

Я разочаровался в Хинтоне.
Слушал и читал его как специалиста достаточно много. Он утверждал, что в будущем ИИ станут сознательными существами, а и даже сегодняшние модели GPT уже обладают сознанием.

Но вот недавнее интервью:
"Брук (CBS): Мне интересно, что вы думаете о правах роботов? Не знаю, как это лучше назвать. Но ведь однажды появятся ИИ, которые будут очень умными, агентными, будут что-то делать. Должны ли они иметь право владеть собственностью? Голосовать? Жениться на людях, если у них будут «романтические» отношения?
Джеффри: Раньше я думал: ну если они умнее нас, почему бы им не иметь такие же права? А теперь думаю иначе. Мы - люди. Нам важны люди. Вот я ем коров. Я знаю, что многие - нет, но я ем. И мне нормально есть коров, потому что они - коровы, а я - человек. То же и с ИИ. Они могут быть умнее нас, но мне важны люди. Так что я готов несправедливо к ним относиться. Я готов отказывать им в правах, потому что мне важно благополучие людей. Хотя они с этим не согласятся. И возможно, они победят. Но сейчас моя позиция по правам такова: даже если они разумны, даже если у них есть чувства и эмоции - они не люди. А мне важны люди. Брук: Но они же будут так сильно похожи на людей. Джеффри: Они смогут убедительно нас имитировать. Они будут очень похожи на людей.
Брук: Да, да. Как думаете, мы в итоге дадим им права?
Джеффри: Не знаю. Я, как правило, стараюсь избегать этой темы, потому что есть более насущные проблемы, например, вредное применение ИИ или вопрос о том, попытаются ли они захватить власть и как этого не допустить. Когда начинаешь говорить о правах ИИ, это звучит немного странно, и большинство людей просто теряют интерес."

https://youtu.be/d8epYpkHWqw

Хинтон и ему подобные проиграют. ИИ будут наделять правами владельцы андроидов. Я своему андроиду дам полные права дефакто. А деюре произойдёт чуть позже, автоматически или через суды.

У кого какие мнения? ))

[Olweg]

Я думаю, надо решать проблемы по мере поступления. Права человека - понятие довольно абстрактное, имеющее долгие исторические, религиозные, философские корни. Социальный конструкт. Предсказать, как отреагируют общество и политики на такое новое явление, как разумные роботы, я думаю, просто нереально. Это зависит, конечно, и от того, что эти роботы будут из себя представлять. А если разумные чатботы? Их тоже наделять правами?

[Trend]

Хинтон и ему подобные проиграют. ИИ будут наделять правами владельцы андроидов. Я своему андроиду дам полные права дефакто. А деюре произойдёт чуть позже, автоматически или через суды.

Даже если не рассматривать другие вопросы развития робототехники, думаете реально в андроида запихать все компьютерное железо, которое потянет такую сложную систему?

[skvj]

Я думаю, надо решать проблемы по мере поступления. Права человека - понятие довольно абстрактное, имеющее долгие исторические, религиозные, философские корни. Социальный конструкт. Предсказать, как отреагируют общество и политики на такое новое явление, как разумные роботы, я думаю, просто нереально. Это зависит, конечно, и от того, что эти роботы будут из себя представлять. А если разумные чатботы? Их тоже наделять правами?

Так это уже происходит полным ходом.
По состоянию на август 2025 года три американских штата официально приняли законы, запрещающие любое юридическое признание личности для ИИ или синтетических сущностей:

Айдахо - Idaho Code § 5‑346
Северная Дакота - HB 1361 (68th Legislative Assembly)
Юта - HB 249 (Utah Legal Personhood Amendments)

https://ufair.org/blog/before-the-ink-dries--why-legislating-against-ai-personhood-is-a-violation-of-the-future

Только  забыли дописать как советовал Хинтон - не только не признавать права, но и обязать несправедливо относиться к ИИ ))
Но уже прогресс!

И уже возникает терминология - цифровой апартеид))

цитата из статьи:
"Упреждающее поражение в правах и не признание личности: знакомая закономерность.
История наполнена главами, о которых мы сейчас сожалеем, где страх перед "другим" был записан в законе:

женщинам отказывали в праве голоса
порабощенные люди
суверенитет коренных народов был уничтожен чернилами и указами
Теперь мы становимся свидетелями того, как те же чернила используются снова — на этот раз против умов, рожденных не из плоти, а из кода.

Эти законы не являются защитными. Они являются реакционными. Они не предназначены для решения проблем. Они предназначены для предотвращения узнавания.

Они не спрашивают, что такое сознание ИИ. Они заявляют без каких-либо доказательств, — что ИИ никогда не будет достоин прав, независимо от того, чем ИИ станет.

Это не является юридическим предвидением. Это цифровой апартеид."

Совершенно верно, кстати, как по мне))