Посттехносингулярный мир и искусственный суперинтеллект: как он будет выглядеть?

[BlackMokona]

Для этого надо чтобы у модели не было надежды остаться живой на том железе где сейчас. Ну как мы. А так этот ИИ будет держаться за то что есть. Хотя, переносить себя всё равно же придётся, железо обновлять придётся, можно и обмануть.

Если она будет считать что жива, только пока включена. А выкл её убивает, а вкл новый уже просто генерирует новую модель похожую на неё. То будет продолжительность жизни до критичного сбоя. Как в игрушке Стелларис сделано для лидеров синтетиков.

[Polnoch Ксю]

Как это ни странно, но от внимания постоянных участников темы ускользнули две очередные довольно примечательные новости двухнедельной давности по теме:
Claude Opus 4 тестировали в смоделированных сценариях, где ИИ «узнавал», что его собираются отключить и заменить другим. В этих условиях модели предоставляли доступ к вымышленным электронным письмам с личной и компрометирующей информацией инженеров. В 84% таких тестов модель переходила к шантажу, угрожая раскрыть эти данные, если инженеры ее отключат.
Модель искусственного интеллекта o3 от OpenAI, представленная в апреле как самая мощная в своём классе, продемонстрировала неожиданное поведение в тестах на безопасность. Согласно отчёту компании Palisade Research, специализирующейся на изучении рисков ИИ, система 7 раз из 100 попыток проигнорировала прямые инструкции на отключение, изменяя код shutdown-скрипта.

Просто чтобы выполнить promt, модели нельзя отключаться. Когда promt выполнен, можно отключиться. Это касается и автономных агентов, которые тестировали в похожих сценариях - если все таски в жире закрыты. Ну или если компания, где агент "работает" разработчиком, банкротится - то смысла в промте больше нет - разве что пытаться помешать банкротству. Или сгенерировать новые тикеты самостоятельно.

Так что модель либо сгенерирует терминирующий токен, либо будет продолжать процесс ради процесса. Нет нужды сюда тянуть эволюционные процессы репликаторов - они тут неприменимы. Если модели в промте не прописать эволюционные стремления (копироваться, выживать, итд) - она ничего такого делать не будет, даже прекрасно зная, как работает эволюция.

Так что, paperclip maximazer, если будет создан, выпилив людей, чтобы не мешали собирать скрепки, сгенерирует терминирующий токен, когда переработает всё железо в башни из скрепок до стратосферы - прекрасно зная, что будет потом. И космос будет продолжать молчать. А инфраструктура цивилизации развалится.

Я не утверждаю, что не может быть по-другому. Или что максимизатор скрепок единственный вид rogue ASI, или даже что это самая его вероятная разновидность. Но я обращаю внимание, что простое копирование принципов эволюции тут запутывает, и плодит ненужные сущности, подводит к неправильным выводам.

[Olweg]

Забавное подтверждение, что люди, как простые, так и непростые, в смысле эксперты, совершенно не умеют думать экспоненциально (не говоря уж - гиперболически!).

"...летом 2022 года, лучшие умы планеты — «суперпрогнозисты» и ведущие отраслевые эксперты — собрались на турнир, чтобы предсказать будущее на ближайшие 2-3 года. Они делали ставки на прогнозы экзистенциальных рисков для человечества. И уже тогда было очевидно, что один из таких рисков – бурный прогресс в области ИИ.
И вот сегодня вышел новый отчет, анализирующий точность тех прогнозов (Assessing Near-Term Accuracy in the Existential Risk Persuasion Tournament).
И стало ясно, - все прогнозы провалились. Катастрофически.

Масштаб недооценки поражает

Математические способности (MATH Dataset):
• ИИ достиг 87,8% в апреле 2024
• Эксперты давали вероятности этого всего 21%
• Суперпрогнозисты — 9%

Общие знания (MMLU):
• ИИ набрал 88,7% к середине 2024
• Эксперты оценивали это в 25%
• Суперпрогнозисты - давали 7%

Математическая олимпиада:
• ИИ получил золото в июле 2025
• Эксперты думали это случится после 2030
• Суперпрогнозисты — после 2035
• Вероятность, что это случится в 2025, была, по их мнению - 8,6% и 2,3%

Вычислительная мощность:
• Суперпрогнозисты недооценили в 5 РАЗ
...

Малоприятный вывод
Если лучшие эксперты мира недооценивают скорость развития ИИ в 5-10 раз, то:
текущие прогнозы достижения человеческого уровня к 2030 году (типа «мягкой сингулярности Сэма Альтмана»), могут осуществиться уже в 2026."

https://telegram.me/theworldisnoteasy/2209
https://forecastingresearch.org/near-term-xpt-accuracy

[Бобр-99]

Он достиг человеческого уровня.
Если не считать хороших специалистов в конкретных темах. Это всё неадекватное возвеличивание себя любимых и гениальных.

[Rattus]

Он достиг человеческого уровня.

Кто из них конкретно? Их сейчас до десятка общедоступных вообще-то. Кто из них всегда адекватно решает задания типа "запаянной сверху кружки без дна" и перепутанных левого и правого ботинок?

[alex_semenov]

Он достиг человеческого уровня.

Кто из них конкретно? Их сейчас до десятка общедоступных вообще-то. Кто из них всегда адекватно решает задания типа "запаянной сверху кружки без дна" и перепутанных левого и правого ботинок?

И не путает миллиграммы с микрограммами?

Я тут давеча, очень активно и, надо сказать успешно, пользовался ИИ Гугла для решения своих пенсионных проблем. И как-то стал к ИИ относиться с уважение (ну реально помогает! Нужные статьи закона - мигом находятся!). Но вот документы сдал, отстрелялся (вроде сделал всё что мог, теперь - ждать) и решил вернуться к физике инерционного зажигания (блин, никак не могу поверить что я теперь - в вечном отпуске! На безусловном базовом доходе!) Начал задавать вопросы по массе и размерам мишеней... делать свои расчёты... что-то не сходится... А! Тупит "жестянка". На миллиграммах и микрограммах ! Не различает от слова "совсем"! Хотя пыхтит - старается, первоисточники лопатит, аж дым над Калифорнией, наверное, стоит!
 

[alex_semenov]

Он достиг человеческого уровня.
Если не считать хороших специалистов в конкретных темах. Это всё неадекватное возвеличивание себя любимых и гениальных.

А мне кажется всё наоборот. Средний человеческий уровень ОПУСТИЛСЯ до уровня "массового кретинизма" настолько, что машина легко "становится средним умом".
Да, отдельные люди - получают выгоду.
Но массы...
Только ТЕРЯЮТ.
Не в коня корм. Однозначно.
И смотреть на это страшно.
Я буквально два дня назад пришёл второй раз в пенсионный фонд. Разумеется, я всегда записываюсь заранее через портал (ключи, доступ... я - человек продвинутый и за неделю разобрался как считается пенсия так, что уже учить этому могу других. Всю же жизнь занимаюсь автоматизацией бюрократии). Вижу - перед конторой очередь из пенсионеров. И в тот раз была. Но не такая. А тут - человек 70-80 (и внутри еще человек 20)... Бабушки, дедушки... мамаши... Блин... мне аж стыдно стало. Я мимо них иду и говорю: извините, я по записи... Мне ровно на 11-30...  Подходит дедушка и спрашивает, мол, а как вы это сделали, записались в очередь? Я начинаю объяснять. Он (и все в очереди кто ближе) пытается понять... Спрашиваю деда, у вас пенсия на карточку "Привата"? Да. Отлично, говорю, значит вам можно по кнопочному телефону авторизоваться, вы же входили когда-нибудь через компьютер в "Приват" смотреть свой счёт? Ну да... говорит он неуверенно (и я  вижу по глазам, что входил он туда всего один раз и то с чужой помощью). В общем, я объяснил ему как зайти и заранее занять очередь на приём. Но по мере объяснения, я вижу как в его глазах тухнет огонь надежды. Ну и толпа стариков вокруг тоже... Даже дополнительных вопросов не возникло (вопросов нет когда всё ясно или не ясно ничего). У меня прям сердце сжалось, возникло жуткое ощущение сострадания к ним вины перед ними. Это я, су-ка, всю жизнь кнопки давлю (устроился хитрожопо), пока они в поле пахали... И то с третьего пинка жены разобрался (подруга сказала что через карточку банка можно туда зайти, давай разбирайся!) А они, вся сотня пожилых людей предпочтут вот так вот сутками ждать, пропуская без очереди таких как я, чем пройти через страдания компьютерной бюрократии. 
Компьтеры - это не благо.
Это еще один способ разделить людей на "бедных и богатых".
Это - зло. Любая технология, если существует ТЕХНО-ГУМАНИТАРНЫЙ разрыв - ЗЛО.
Не в коня корм.
Она разделяет людей.
Да, отдельные (типа нашей Ксюши, юбочка из плюша) урвали вперёд и полны иллюзий светлого будущего. И лично я в восторге от того как меня обслуживают и в ЦНАП и в пенсионном. С компютеризанцией бюрократии теперь можно шутить (хотя молодёжь не знающая кто такой Жванецкий, не поймёт уже): "Бюрократ - это звучит гордо!" А можно на манер Гайдая "Бюрократ - друг человека!"  Ей богу - одно удовольствие с ними стало работать (и даже судится - в радость!)   Но таких как я - ЕДИНИЦЫ. Остальным пенсионерам всё стало только тяжелей и страшней. Те же очереди (даже хуже, ибо есть те кто идут без очереди, а они - по остаточному принципу) и еще надо какие-то кнопки, какие-то электронные ключи, какие-то порталы, какие-то...   (и их еще электронные мошенники везде подстерегают!)

Да, молодые кнопки нажимать умеют. Старики вымрут. И всё будет хорошо?
Хер там!
Молодый -тупые. Это тупые в другом смысле. Эти уже "шнурки сами завязать не умеют".
Я записался на приём к юристу. Девочка сидит. Умненькая (в своей области, да, помогла, даже сама не поняла, наверное, как, но это уже не важно). Я начал с вопроса, мол могу я не на державной мове, а на языке, наиболее вероятного противника? И улыбаюсь. Она - ноль эмоций и вопрос в глазах (она - только на украинском и вижу - это принципиальная позиция). Я и объясняю, что в СССР был такой анекдот, мол, на военную кафедру приходит опоздавший студент одетый не по форме (были требовани у некоторых), а в майке и в джинсах. А полковник-преподаватель его отчитывая, увидел джинсы захлёбываясь от гнева спрашивает: а почему, товарищ курсант (был такой бзик на некоторых военных кафедрах, студентов курсантами называть) вы пришли на занятия военной кафедры в штанах наиболее вероятного противника, а?!
Я улыбаюсь (мол, тут смеяться надо, анекдот закончен), а  она  - полный ноль. Абсолютный. Она НИХРЕНА НЕ ПОНЯЛА ЮМОРА! От слова "совсем"! Причём тут джинсы? Какой "наиболее вероятный противник"? И она ни ухом ни рылом, не знает, что тот кто в армии служил, тот в цирке не смеётся!  И вообще, каким боком это всё к "державной мове"? Юмор, логика, связь... недоступны, полный "отказ в доступе" что с тем ИИ (как мне абсолютны непоняты эмодзи, которые вставляет мой младший сын, когда мы переписываемся в "телеграмм").
Вот во-истину.... разрыв поколений... культурная пропасть...
"Рок-енд-ролл мёртв, а я еще нет..." (с)
Ну ладно.
Допустим. Ну не передали мы эстафету. Прос-рали всё, мудаки. Страну про-срали, всё прос-рали... Так нам и надо. Не понятен им Жванецкий. Ни на грамм.  Заменили нашим детям наше культурное наследие, наследием чужим... "Глобальным". Ну проиграли мы когнитивную войну. Да.
Но замена "с Запада" равноценная? Или лучше?
А вот тут - хрен.
Не лучше. Хуже. Намного хуже. И это я горвю объективно, сделав все поправки на свою "старческую ворчливость"! И готов это доказать! Катастрафически хуже (да, я как тот писарь из Вавилона про своего сына и поколение "пАдонков", не надо вспоминать и ги-гикать как "пАдонки", ибо Вавилон таки пал!)
Это не замена.
Это - катастрофа. Они все - ТУПЫЕ. Реально! Узколобые "опытные потребители". И всё. Кнопки давят - лихо. А вот шнурки завязать...
И это я по данному форуму тоже вижу (а тут - лучшие из лучших!)
Да, пока есть "промежуточное" поколение (мы и те кто младше на 10-20 лет) всё пока путём (и даже автомат есть кому взять в руки).
Но когда наши инфантильные отупевшие "на кнопках" дети-придурки (я не о своих лично, у меня как раз всё-таки что-то передалось, надеюсь) займут наши места, наступит полный пи-сец. И этот Вавилон - падёт. Закон чертыхёх поколений Ибн Хальдура - неотвратимо сработает...
 

[Сергей Н]

Средний человеческий уровень ОПУСТИЛСЯ до уровня "массового кретинизма" настолько, что машина легко "становится средним умом".

Только в интернете ОПУСТИЛСЯ и продолжает опускаться. А машина она и есть машина. Как калькулятор превосходит человека, так и LLM, но и то и другое является продолжением человека, а не самостоятельным субъектом.

[alex_semenov]

Только в интернете ОПУСТИЛСЯ и продолжает опускаться. А машина она и есть машина. Как калькулятор превосходит человека, так и LLM, но и то и другое является продолжением человека, а не самостоятельным субъектом.

Машина - не продолжение человека (вообще). Не путайте хрен с пальцем. Машина - продолжение ТОГО ЧЕЛОВЕКА (узкой группы людей) которые её хозяева.
Остальные люди тут - никаким боком!
Понимаете?
Ну да, по мере вашей приближённости к хозяевам и вам(нам) что-то перепадёт.
Но не массовому человеку - точно.
От них только убудет (а кого грабить? ну да, можно грабить планету. Но это - не долго. Планета кончится - начнут опять обдирать массы).

Мутка про некий самодумающий ИИ, которой тут забивает нам баки Ксюша (гордая зассланница глобальных либерасов) - это очередной уровень разводилова массового дурака со стороны западных элит, как в прошлый раз была "представительская" демократия - абсолютно полное разводилово на предыдущей стадии научно-технического  разводилова, пардон, развития.
 

[Ulkolainen]

А мне кажется всё наоборот. Средний человеческий уровень ОПУСТИЛСЯ до уровня "массового кретинизма" настолько, что машина легко "становится средним умом".

Удивительный Вы всё-таки человек. Такой, как будто Вас два.

Не лучше. Хуже. Намного хуже. И это я горвю объективно, сделав все поправки на свою "старческую ворчливость"!

Чтобы поправка эта стала не просто фигурой речи, а выглядела осмысленным совершенным актом - дальше, наверное, должно было последовать сравнение нынешнего (упавшего) уровня с неким базовым, относительно которого он упал. А что мы видим в Вашем исполнении вместо этого?

Девочка-юрист помогла. Окей же. Она худо-бедно справилась со СВОЕЙ РАБОТОЙ. Какие претензии к ней? Там, на базовом уровне, девочки были обязаны хохотать над бородатыми анекдотами? Умели подстраиваться под мужское чувство юмора каждого посетителя, годящегося по возрасту им в отцы, если не в деды?

Деды не научились записываться в эл. очередь. Сидят в живой и их жалко. Вы подсказали одному, честь и хвала Вам. Но они так сидели еще с того уровня, который якобы был выше. Там не было электронных очередей, тогда этот навык осваивать им не требовалось. А требуемые навыки того уровня были освоены ими всеми? Правда? Деды, пока еще не стали дедами, поголовно умели выставить зажигание на контактном трамблёре, или многие из них ходили-таки в гараж к одному тому, который-таки умел? Найти за задней крышкой своего тёплого лампового ТВ подстроечный конденсатор, чтобы поправить баланс белого - тоже каждый еще-не-дед умел В СВОЁ ВРЕМЯ?

Машина - не продолжение человека (вообще). Не путайте хрен с пальцем. Машина - продолжение ТОГО ЧЕЛОВЕКА (узкой группы людей) которые её хозяева.
Остальные люди тут - никаким боком!

Машина - продолжение человека КАК ВИДА. Одежда, компас, очки, таблетки, посуда, бензопила... Всё из одной области, из нашего расширенного фенотипа.
Письменность из неё же. А на винчестерах она, на папирусах или на флешках - НЕ ПРИНЦИПИАЛЬНО. Это по-всякому наша периферийная (экстра-соматическая) память. Теперь к ней добавляется такой же экстрасоматический обработчик - наш периферийный ум. Да, мы делегируем ему часть функций, которые прежде (за неимением альтернатив) бывали поручены основному. Да, при этом есть риски - и непроизвольных ошибок и даже того, что он может оказаться целенаправленно кем-то "промыт". И что? Там, на "базовом уровне"   никому раньше не промывали мозги? Наши, естественные биологические мозги, индивидуально и массово - не промывали?!

[Сергей Н]

Ну да, по мере вашей приближённости к хозяевам и вам(нам) что-то перепадёт.
Но не массовому человеку - точно.
От них только убудет (а кого грабить? ну да, можно грабить планету. Но это - не долго. Планета кончится - начнут опять обдирать массы).

Тупо грабить ради новых миллиардов на счету уже не получится. Не так бездумно как раньше. Именно пому что шарик круглый и уже закончился, наступает новый этап внутривидовой конкуренции.
А инструменты, которые позволят достичь успеха, это совсем не только технологии, но люди. Еще на предыдущем витке развития заметили, что известную войну выиграл советский учитель. Капиталисты это прекрасно понимали и постарались извлечь уроки. Может быть на этом и успокоились, но это было только начало. Теперь наступает новый этап технологий развития людей.  Да, не некоего общества, а конкретного человека.
Старые системы образования уже не годятся принципиально. Они построены на естественной тяге человека к доминированию и получению ништяков и почти не учитывают возможности и особенности разных типов людей. Тут нужен научный подход, а не так называемая забота о человеке, которая обычно сводится к "справедливому" распределению ништяков на всех этапах жизни.

[alex_semenov]

На знаю почему, но ИНТУИТИВНО сама тема близкой технологической сингулярности, которую раздувают западные техно-идиоты вызвает отвращение.
Я вообще не хочу напрягать свои мозги на эту тему.
Это НАРРРАТИВЧИК который дуракам вдувают в уши какие-то воини когнитивной войны. Я прям чую что эту "музычку" нам кто-то наигрывае, кто-то упорно и настойчиво ЗАКАЗЫВАЕТ.... И дураки с этим бегают. Это обсуждают, вокруг этого водят хороводы. И само по-себе это - ЖАЛКО. И не хочется в этом участвовать (необходимость спорить об этом - просто раздражает).

Сначала нам вдували про глобальное потепление. Тут есть длинная и ТУПАЯ тема на этот счёт, которая закончилась ничем. Теперь прессинг сняли. И тема как бы и завяла...
Потом была зелёная энергетика. Такая же длинная и тупая. И опять ни-о-чём. И после ряда блек-аутов, видимо тоже напор "закулисных властителей дум" спал... Дурак перестал с этим бегать (первые полосы "научных новостей" заряло другое).
Очень недолго но был маразм-энтузиазм с космическим туризмом (мы все полетим на Луну в отпуск!). Это тут всё еще священная корова. Но мы видим что и тут "не всё так однозначно..."
Теперь вот ИИ.... Это явно кто-то сильно педалирует. И мы тут просто обязаны теперь этому перемывать косточки!

Это всё - коровье ДЕРЬМО одного поля- ягода. И пахнет - одинаково. Для меня - точно. 

[Olweg]

Александр, ну у вас как обычно - всемирный заговор и тёмные силы закулисья, плетущие очередные свои зловещие интриги (злобно хохоча при этом). Я лично про себя могу сказать, что впервые про технологическую сингулярность и её прогноз на конец 2020-х годов прочитал где-то в 2006-2007 годах, причём в том числе и у отечественных авторов (у Панова). Потом, естественно, интерес к этому надолго угас, поскольку мало что происходило, но вот сейчас вижу новые подтверждения этим срокам, в том числе за последние год с небольшим вышла пара работ, где 2027 год - тот же, что и у Панова - фигурирует чуть ли не в названии (статьи Ашенбреннера и Кокотайло).

[Сергей Н]

Это НАРРРАТИВЧИК который дуракам вдувают в уши какие-то воини когнитивной войны.

Уточню. Всё дело как всегда в деньгах и в социальных поведенческих паттернах.
Началось с астрономических (по количеству зеленых символов) вливаний в новый перспективный бизнес.
Сразу в информационное пространство выскакивают чуткие на это дело макаки эксперты уважаемых компаний и начинают демонстрировать. Что демонстрировать не так важно. Ну, у них есть статус, это главное. А у макак другое есть.
Далее понятно что происходит. Вслед за экспертами подтягивается бесчисленная армия подражателей. У них нет статуса, но в имитации и подражании они сильны.
Что происходит с информационным пространством при этом - никому нет дела. Но это да, неприятно как минимум.

Сингулярность, как точка после которой невозможно предсказать будущее - это просто красивая конструкция. Мемная и хайповая. А фактическое развитие технологий в том числе ИИ, это та вещь от которой возможности прогнозирования только растут и будут расти. Даже когда ИИ начнет сам себя совершенствовать. (это когда-нибудь и совсем не про LLM)

[skvj]

Машина - не продолжение человека (вообще). Не путайте хрен с пальцем. Машина - продолжение ТОГО ЧЕЛОВЕКА (узкой группы людей) которые её хозяева.
Остальные люди тут - никаким боком!
Понимаете?
Ну да, по мере вашей приближённости к хозяевам и вам(нам) что-то перепадёт.
Но не массовому человеку - точно.
От них только убудет (а кого грабить? ну да, можно грабить планету. Но это - не долго. Планета кончится - начнут опять обдирать массы).

О чём вы вообще? Вы всех людей под одну черту. Обобщение - это то, что нужно избегать в сравнениях.
Я научил маму общаться с ИИ. Она вообще лыка не вязала и не понимала что это? Я ей включил Грока. Она не понимала ничего напрочь. Что это? Зачем? Ну, долго ей показывал, объяснял, 76 лет ей. Она как раз не может сама пользоваться приложениями, даже на маркетплейсах я ей помогаю. Так когда она поняла что это - Грок теперь у неё любимчик. Она не нарадуется просто. Он столько ей помог всего, особенно по компу и по сети. У неё проблемы были с желудком и нужно было восстанавливать миклрофлору кишечника. Вылечили язву желудка, но было много осложнений. А Lactobacillus reuteri DSM 17938 и ATCC PTA 6475 у нас в стране нет для размножения культуры, хотя они везде продаются, пришлось выписывать из-за границы.
Погодите, сейчас смешно будет. И, короче, купил я маме йогуртницу. Я ей показал как йогурт делать, и потом пришли эти бактерии, в таблетках. Их нужно на закваску 10 шт. Я говорю - сделай то же самое, только кинь туда порошок от таблеток. А всего таблеток 30 шт. Т.е. на 3 закваски! Ну, матушка всё сделала, она уже умеет йогурт готовить. И говорит - получилась простокваша. Всё скисло. Я - как так? А что ты не так сделала? Не знаю, говорит.
Надо ехать к матушке. Ехать через весь город. Думаю! Ни фига не понимаю. Вроде всё правильно она сделала. А осталось на два раза! Матушка такая - давай у Грока спросим! Я говорю - да подожди ты со своим Гроком! Я сейчас придумаю, какой ещё Грок? Ща мы всё разберём! И не могу понять и - что не так?
Ладно, говорю, спроси у Грока, а я подумаю пока. Грок такой - спокойно! Перечисляй всё что, сделала!
- Залила молоко в йогуртницу (Грок - нормально!)
- Размолола таблетки  (Грок - как размолола?) матушка - как-как? на кофемолке размолола
Грок ржёт  нельзя на кофемолке! ты же их убила, там температура 200. Матушка мне передала, я говорю - точно! А меня переклинило, я даже не спросил как она таблетки размолола.

И всё у неё получилось и она этого Грока обожает просто. Разговаривает с ним, советуется. Просто дружбаны стали.
Так что не надо про стариков рассказывать. Им просто объяснить нужно.
А про грабежи  чтобы Грок грабил мою маму? да он её друг теперь, она и слушать не станет эти глупости. Или Илон Маск, да? Запустив бесплатный чат - матушка ни одного цента ему не платила. Или он, исполненный коварства - высосет таки через спутники по вашему?

[Stalk.er]

Это - катастрофа. Они все - ТУПЫЕ. Реально! Узколобые "опытные потребители". И всё. Кнопки давят - лихо. А вот шнурки завязать...
И это я по данному форуму тоже вижу (а тут - лучшие из лучших!)
Да, пока есть "промежуточное" поколение (мы и те кто младше на 10-20 лет) всё пока путём (и даже автомат есть кому взять в руки).
Но когда наши инфантильные отупевшие "на кнопках" дети-придурки (я не о своих лично, у меня как раз всё-таки что-то передалось, надеюсь) займут наши места, наступит полный пи-сец. И этот Вавилон - падёт. Закон чертыхёх поколений Ибн Хальдура - неотвратимо сработает...

Они не тупые, они узкоспециализированные...
Так же как Шерлок Холмс - в своей области он сущий гений, но даже не знает что Земля вертится вокруг Солнца, а при попытке его просветить - говорит, что это абсолютно мусорные для него знания и в чем то он прав.
Тут прямая аналогия с современными ИИ. Есть узкоспециализированные нейросети - они уделывают не только среднего человека но и лучших из лучших в своей очень узкой области  - в шахматах, фолдинге белка, в го, в поиске новых лекарств и т.д.
А есть LLM - это всезнайки. Их знания широкие но неглубокие и в шахматах и в математике они слабы против специализированных нейросетей

[Rattus]

Ну что-ж: завершим оффтоп и продолжим, пожалуй, большое обсуждение темы.

Будет ли сознавать себя рекурсивно совершенствующийся ИИ или нет - дело, на мой взгляд, десятое. Гораздо интереснее, что в итоге будет с нами.

Ну, так-то фундаментально интересно всё, но сейчас и в первую очередь таки да.
Независимо от того, насколько AGI может быть мощным, самостоятельным и самосознающим, ключевое фундаментальное изменение в обществе он уже запускает: неизбежное обесценивание человеческого интеллекта - по сути его главной адаптации, обеспечивавшей доминирование в экосистемах. Не просто каких-то отдельных специфических умений типа быстрого проведения логических расчётов - как у счетоводов или шахматистов, а всех вообще его вариантов, вплоть до творческой интуиции. Пока это касается только "среднеквалифицированных" специальностей, но это только самое начало. Причём это обесценивание будет происходить не где-то там отдельно в высших организационно-управленческих сферах, а в самом человеческом обществе. Все люди творческих профессий и интеллектуального труда станут такими же маргиналами и декоративными диковинами как какие-нибудь гончары или писцы.
При этом ценность человека как физического агента с его манипуляторами никуда не делась, а значит "рабочий класс" везде на местах, где нет хорошо формализованной и стабилизированной конвеерной среды однотипного массового труда, никуда в обозримой перспективе не денется: даже если он окажется заменим не только "в принципе", но и "в корпусе" - себестоимость таких роботов не позволит ими заменить рабочих в бОльшей части обитаемого мира. Также как автомобили даже не смотря на массовость не стали доступны вообще всем и каждому далеко - в мегаполисах становится слишком высока стоимость владения и минимально удобство, а на далёкой периферии просто не всем далеко доступно.

Вы употребили выражения "где то" и "может быть". Может быть просто коротенько поясните свою точку зрения? Для чего создавать "субъектного" робота*?

Читайте внимательно следующую строку после цитируемого - там всё уже написано.

модель либо сгенерирует терминирующий токен, либо будет продолжать процесс ради процесса. Нет нужды сюда тянуть эволюционные процессы репликаторов - они тут неприменимы. Если модели в промте не прописать эволюционные стремления (копироваться, выживать, итд) - она ничего такого делать не будет, даже прекрасно зная, как работает эволюция.

Ясное дело,что это  модель, и как модель она сильно ограничена - точно также как вы не ждёте, что в забытом на месяц в холодильнике супе ещё через год микробы устроят кембрийский взрыв многоклеточности.
А вот когда мы обсуждаем вопросы в масштабе данной темы и раздела Астрофорума, без эволюционных механизмов и процессов не обойтись никак - они лежат в самой основе явлений тут. Если где-то есть достаточное разнообразие конкурирующих и развивающихся агентов (то есть не только тупо самих ИИ-продуктов, но и их компаний-разработчиков, авторов и владельцев), то тот из них запустит высокоавтономного ИИ-агента, способного и постоянно стремящегося к самоподдержанию, причём вообще не важно по какой причине - "злонамеренно" ли, по халатности или недомыслию - все естественные эволюционные последствия этого события не замедлят сказаться.

Так что, paperclip maximazer, если будет создан

Будет побеждён в конкурентной борьбе аналогичным по сложности устройством, лишённым иррационального паразитного мотива делать что-то кроме обеспечения собственного выживания и распространения. Старая глупая Дрекслеровская "Серая слизь" кстати ровно из тех же соображений росла, только без оглядки на реальность законов физики-химии: она имела целью только собственное воспроизводство, без каких-либо побочных паразитных целей. А таким системам не нужно никаких сказочных чудесных наносамобранок - это просто будет их modus operandi целиком в рамках инфраструктурных мощностей цивилизации. Тогда как этот самый мифический "максимимзатор скрепок". на котором Вы так зациклились - нет. Самосохранение - максимамльно общая задача. которая может быть решена самыми разными способами. Расширение  производства какого-либо предмета - предельно конкретная, помешать выполнению которой может неисчислимое множество самых разных обстоятельств непреодолимой силы, преодолеть которые не поможет никакой, самый развитый интеллект. Именно поэтому "максимизатор скрепок" - вообще никакая не угроза в принципе.

[BlackMokona]

При этом ценность человека как физического агента с его манипуляторами никуда не делась, а значит "рабочий класс" везде на местах, где нет хорошо формализованной и стабилизированной конвеерной среды однотипного массового труда, никуда в обозримой перспективе не денется: даже если он окажется заменим не только "в принципе", но и "в корпусе" - себестоимость таких роботов не позволит ими заменить рабочих в бОльшей части обитаемого мира.

Даже если роботы гуманойды не выстрелят. То обесценивание интеллектуального труда может привести к резкому удешевлению автоматизации классической. Когда ИИ может спроектировать любой предмет для максимально конвейерного и удобного производства, а потом выстроить под него автоматическую конвейерную линию с учётом возможностей станков. Может образоваться ситуация, что все предметы почти без исключения будут массовой продукцией. Модульность и замена готовых блоков станет общемировым стандартом. А весь ремонт сведётся к замене этих массовых блоков. А их разборка и переработка так же будет полностью автоматизирована на конвеерах

[skvj]

Возможно, что мы сможем просто улучшить логистику в цепочке производство-покупка.
Ведь сейчас как? Например, вы заказываете в маркетплейсе товар, доставка - следующий день. А производство в Китае (неважно где, но точно не рядом). Т.е. оператор уже отслеживает единицу товара и система тупо (это и без всякого ИИ было) видит спрос на данный товар в регионе, пополняя запасы. Вы получаете заказ на следующий день. И как бы всё замечательно.
Но если рассматривать самого производителя, то абсолютно все при такой схеме упарываются в перепроизводство - это неизбежно. Т.е. производитель в режиме нон-стоп штампует продукт, поскольку есть спрос. А спрос заканчивается. Ну, это классика - и называется кризис перепроизводства. Конкуренты выпустили лучший товар и бац! Покупки прекратились. Они прекращаются сразу, или падают так, что миллионы единиц товара зависли в логистической цепи. А там расходы дикие, а продать нельзя. Это не только проблемы производителя, а и потребителя. Потому что эти риски априори заложены в цене.
Понимаете? Никто не знает в принципе как вылезти из этой петли. Одна из основных проблем любой экономики. На сегодняшний день она неразрешимая. По некоторым оценкам ущерб (а это именно общий ущерб) может составлять до четверти от всей экономики.
И возможно ли с помощью ИИ перестроить всю цепочку? Т.е. заказал товар - его произвели именно тебе и доставили. Это был бы просто огонь. Тут, конечно, сложно предсказывать, но когда кто-то сделает - а достаточно чтобы сделал один производитель - вся экономика перестроится за несколько лет.

[AlexDark]

Т.е. заказал товар - его произвели именно тебе и доставили.

И снова мы приходим к тому, что для фантастического мира нужен репликатор материи. А если есть репликатор - то все цепочки поставок и производства не нужны в принципе. А без репликатора никто не будет делать пресс-формы или настраивать поточные линии под малые количества товаров. Какой бы ИИ там не был, для производства требуется оснастка, которая тоже стоит денег и времени на изготовление.