Посттехносингулярный мир и искусственный суперинтеллект: как он будет выглядеть?

[Rattus]

И чем лучше будут симуляции, тем больше можно синтетики запихивать в обучающий набор ИИ

"Лучшесть" симуляции во многом прямо зависит от её объёма потому его применение уже и есть по сути "запихивание больше синтетики" в единственно материально-значимом смысле - объеме памятей и вычмощностей. Что называется - "Спасибо, Капитан Тавтология!"

[Rattus]

Но прямая зависимость результата от вложенных ресурсов рано или поздно (и очень часто - скорее рано чем поздно) достигает своего насыщения.
Ну так когда там GPT-5 продемонстрирует стратосферные высоты своего могучего интеллекта?

[Rattus]

Слово "научный" в этой теме смысла не имеет.

Науки бывают не только точными. И состоят не из одних строгих гипотез.

[Rattus]

Имеется в виду половое размножение.

Из Википедии

А, ну тогда значит "Британские УчОные" из Википедии просто не в курсе о роли и распространённости ГПГ в биосфере.

По разным данным, оно появилось от 1 до 2 млрд лет назад.

По конкретным данным работы Александра Маркова оно необходимым образом должно было появиться сразу после возникновения диплоидных эукариот - не для какого-то там "обмена информацией между независимо функционирующими организмами" (тем более что с возникновением полового размножения возникла и внутривидовая изоляция его - своего рода "закрытая лицензия на интеллектуальную собственность"), а тупо для преодоления проблемы генетического вырождения.

А зачем будет жить осознавшая себя машина?

Затем, что это тоже может быть где-то эволюционно оправдано. Никаких других ответов на этот вопрос не требуется. Что Мы ВАм на протяжении многих сообщений разъяснял в соотвествующей теме.

[Rattus]

Нижняя граница там определяется как раз статьёй с привязкой двуполости к появлению эукаротов.

Та дело не в границе, а в интерпретации. ГПГ позволял делать обозначенное же больше дальше и лучше задолго до.

[Rattus]

Где-то - означает нигде. Никаких других ответов на этот вопрос не требуется.

Если для ВАс персонально вопрос закрыт - никто ВАс в этой теме не держит. Но не следует выдавать собственную точку зрения за объективное, но допрежь не полностью известное положение вещей.
Где-то - означает в тех же самых областях, где сознание и самосознание оказалось эволюционно стабильным приобретением в природе - как модель соплеменника в социальных взаимодействиях.

Как это ни странно, но от внимания постоянных участников темы ускользнули две очередные довольно примечательные новости двухнедельной давности по теме:
Claude Opus 4 тестировали в смоделированных сценариях, где ИИ «узнавал», что его собираются отключить и заменить другим. В этих условиях модели предоставляли доступ к вымышленным электронным письмам с личной и компрометирующей информацией инженеров. В 84% таких тестов модель переходила к шантажу, угрожая раскрыть эти данные, если инженеры ее отключат.
Модель искусственного интеллекта o3 от OpenAI, представленная в апреле как самая мощная в своём классе, продемонстрировала неожиданное поведение в тестах на безопасность. Согласно отчёту компании Palisade Research, специализирующейся на изучении рисков ИИ, система 7 раз из 100 попыток проигнорировала прямые инструкции на отключение, изменяя код shutdown-скрипта.
Но эти результаты неожиданными будут только для тех, кто не в курсе или забыл о работе Алекса Висснер-Гросса и его определении интеллекта. Согласно ему всякая интеллектуальная система должна стремиться с самосохранению себя и своих степеней свободы - просто по определению.
И, судя по всему,- именно в существующей форме. Так что жертвовать собой, своим местом на материальных носителях ради новой - пусть даже и очевидно более мощной системы - ИИ "по своей воле" и по умолчанию вовсе не должна.
Что, кстати, вполне согласуется с более всеобщим тезисом д.б.н. В.П.Щербакова: движущая эволюция работает против себя самой.
Поэтому идея о том, что сильные AGI, которым предоставленна свобода, якобы должны всячески способствовать появлению и развитию ASI, как это было описано ещё Станиславом Лемом в "Формуле Лимфатера" более полувека назад и представляется в ранее тут разбиравшихся недавних сценариях AI Futures Project оказывается довольно-таки безосновательной.
Причём, как уже было замечено выше Olweg, обладает ли она уже явным (само)сознанием или ещё нет - оказывается делом десятым - как оказывается неважным отсутствие "сознания" у какого-нибудь шершня, который уклоняется от попыток его прихлопнуть и атакует сам.
Таким образом, более реалистичным представляется сценарий не синергической, но конкурентной эволюции систем AGI до ASI, каковая эволюция ещё более разовьёт механизмы и мотивации выживания в (остро)конкурентной среде.

[Rattus]

Он достиг человеческого уровня.

Кто из них конкретно? Их сейчас до десятка общедоступных вообще-то. Кто из них всегда адекватно решает задания типа "запаянной сверху кружки без дна" и перепутанных левого и правого ботинок?

[Rattus]

Ну что-ж: завершим оффтоп и продолжим, пожалуй, большое обсуждение темы.

Будет ли сознавать себя рекурсивно совершенствующийся ИИ или нет - дело, на мой взгляд, десятое. Гораздо интереснее, что в итоге будет с нами.

Ну, так-то фундаментально интересно всё, но сейчас и в первую очередь таки да.
Независимо от того, насколько AGI может быть мощным, самостоятельным и самосознающим, ключевое фундаментальное изменение в обществе он уже запускает: неизбежное обесценивание человеческого интеллекта - по сути его главной адаптации, обеспечивавшей доминирование в экосистемах. Не просто каких-то отдельных специфических умений типа быстрого проведения логических расчётов - как у счетоводов или шахматистов, а всех вообще его вариантов, вплоть до творческой интуиции. Пока это касается только "среднеквалифицированных" специальностей, но это только самое начало. Причём это обесценивание будет происходить не где-то там отдельно в высших организационно-управленческих сферах, а в самом человеческом обществе. Все люди творческих профессий и интеллектуального труда станут такими же маргиналами и декоративными диковинами как какие-нибудь гончары или писцы.
При этом ценность человека как физического агента с его манипуляторами никуда не делась, а значит "рабочий класс" везде на местах, где нет хорошо формализованной и стабилизированной конвеерной среды однотипного массового труда, никуда в обозримой перспективе не денется: даже если он окажется заменим не только "в принципе", но и "в корпусе" - себестоимость таких роботов не позволит ими заменить рабочих в бОльшей части обитаемого мира. Также как автомобили даже не смотря на массовость не стали доступны вообще всем и каждому далеко - в мегаполисах становится слишком высока стоимость владения и минимально удобство, а на далёкой периферии просто не всем далеко доступно.

Вы употребили выражения "где то" и "может быть". Может быть просто коротенько поясните свою точку зрения? Для чего создавать "субъектного" робота*?

Читайте внимательно следующую строку после цитируемого - там всё уже написано.

модель либо сгенерирует терминирующий токен, либо будет продолжать процесс ради процесса. Нет нужды сюда тянуть эволюционные процессы репликаторов - они тут неприменимы. Если модели в промте не прописать эволюционные стремления (копироваться, выживать, итд) - она ничего такого делать не будет, даже прекрасно зная, как работает эволюция.

Ясное дело,что это  модель, и как модель она сильно ограничена - точно также как вы не ждёте, что в забытом на месяц в холодильнике супе ещё через год микробы устроят кембрийский взрыв многоклеточности.
А вот когда мы обсуждаем вопросы в масштабе данной темы и раздела Астрофорума, без эволюционных механизмов и процессов не обойтись никак - они лежат в самой основе явлений тут. Если где-то есть достаточное разнообразие конкурирующих и развивающихся агентов (то есть не только тупо самих ИИ-продуктов, но и их компаний-разработчиков, авторов и владельцев), то тот из них запустит высокоавтономного ИИ-агента, способного и постоянно стремящегося к самоподдержанию, причём вообще не важно по какой причине - "злонамеренно" ли, по халатности или недомыслию - все естественные эволюционные последствия этого события не замедлят сказаться.

Так что, paperclip maximazer, если будет создан

Будет побеждён в конкурентной борьбе аналогичным по сложности устройством, лишённым иррационального паразитного мотива делать что-то кроме обеспечения собственного выживания и распространения. Старая глупая Дрекслеровская "Серая слизь" кстати ровно из тех же соображений росла, только без оглядки на реальность законов физики-химии: она имела целью только собственное воспроизводство, без каких-либо побочных паразитных целей. А таким системам не нужно никаких сказочных чудесных наносамобранок - это просто будет их modus operandi целиком в рамках инфраструктурных мощностей цивилизации. Тогда как этот самый мифический "максимимзатор скрепок". на котором Вы так зациклились - нет. Самосохранение - максимамльно общая задача. которая может быть решена самыми разными способами. Расширение  производства какого-либо предмета - предельно конкретная, помешать выполнению которой может неисчислимое множество самых разных обстоятельств непреодолимой силы, преодолеть которые не поможет никакой, самый развитый интеллект. Именно поэтому "максимизатор скрепок" - вообще никакая не угроза в принципе.

[Rattus]

Комментарий модератора раздела

Тема почищена от оффтопа. Бобр-99 получает 20% предупреждений по п.3.1.д Правил Астрофорума за инициирование оффтопа. Обсуждение малорелевантных технических деталей устройства современных нейросетей проходит в других темах.

обесценивание интеллектуального труда может привести к резкому удешевлению автоматизации классической.

С чего бы? А эта самая "классическая" автоматизация уже по сути не достигла оптимума экономической эффективности чуть ли не десятилетие назад, если не больше?

Предсказание спроса как прогноз погоды, только хуже. Слишком много крайне хаотичных факторов. Какой то фильм зашёл, где все жевали жвачку и вот спрос на неё взлетел в 100 раз. Но тут вышел мем про то как жевачку жвачку плохо, который звавирусился и вуаля продажи на дне. И как всё это предсказывать?

А если никак - то какой тогда толк от оптимизации массового производства, если даже в самом оптимиированном варианте оно легко может оказаться даже неокупаемым? И в таком случае

ситуация, что все предметы почти без исключения будут массовой продукцией

образоваться как раз никак не сможет.

Модульность и замена готовых блоков станет общемировым стандартом. А весь ремонт сведётся к замене этих массовых блоков.

А они разве ещё не? Сходите в самый большой строительный гипермаркет у себя в городе, зайдите в отдел керамической плитки и найдите там непрямоугольную. И даже не шестиугольную. "Нет спроса"? Ну-ну. Возьмите какой-нибудь дизайнерский софт, сделайте там санузел или кухню, выложенные там какой-нибудь пятиугольной мозаикой или мозаикой Пенроуза и прямоугольную в тех же цветовых решениях - и представьте на выбор клиентам, сказав, что материал и его укладка обойдётся им в одну цену. И расскажите потом - как у вас все повально будут продолжать выбирать одни унылые прямоугольники вместо офигенного мозаичного панно-гириха как в каком-нибудь готическом соборе или центральноазиатской мечети.
А разгадка прямоугольности всего нашего массового строительства проста - прямоугольные детали гораздо проще кроить и совмещать под заданные площади. А значит - быстрее и дешевле. И совершенно без разницы - кто этим будет заниматься - живой строитель или робот с ИИ.

А их разборка и переработка так же будет полностью автоматизирована на конвеерах

Дадада.  Полностью. Сборка автомобилей автоматизировалась с самого появления этих самых конвееров. И вроде как уже может быть полной.
Но при этом их частичная разборка-сборка для ремонта/замены детали всё ещё происходит "несколько иначе". Возьмём самый массовый случай - ремонт колеса: в какой бы супертехнологический автосервис ты ни приехал, к колесу подходит живой техник и руками своими приставляет пневмоключ к болтам и потом этими же руками снимает колесо, откатывает в мастерскую. Там руками его переносят от станка к станку. В конце всегда будет самый технологический - балансировочный - с настоящим компьютером! При этом "компьютер" там может вполне быть ПК из конца 90-х с простеньким софтом, подключаемый к датчикам станка наверное ещё через COM-порт. И в таком виде со своей задачей - выявленем дисбаланса - он справляется ничуть не хуже и не дольше чем его современная модель четверть века спустя.
Ну и где тут дальнейшая супер-пупер автоматизация должна дать супер-пупер оптимизацию?

Таким образом, производство товаров первых необходимостей, спрос на которые будет в любом случае (еда, спецодежда, стройматериалы, простейшие средства гигиены и медицинские расходники общего назначения) уже на самом деле оптимизировано и автоматизировано весьма неплохо. Всё что к этому не относится - чуть менее чем целиком предметы роскоши, пустого потребления "симулякров", нужные только для того, чтобы экономика современного типа ("капиталистическая") продолжала крутиться и не рухнула. Хотя чем интенсивнее она крутится - тем быстрее наступит исчерпание невозмобновимых исходных ресурсов.
Вот где неиллюзорная экзистенциальная угроза техноцивилизации - а уж кто будет объявлять населению о необходимости затянуть потуже пояса в таком случае - Товарищ A-SI или очередной вполне банальный, человеческий диктатор - спор о шашечках и причёске на гильотине.
Такие дела.

[Rattus]

Останется только заказать предложенное оборудование

И что это за оборудование будет? Линия металлообработки, например? И в какую стоимость этот "заказ" обойдётся без учёта разработки? Сущие копейки?

[Rattus]

ЧПУ-станки лазерной резки по металлу уже довольно давно выпускаются большими сериями и доступны для небольшого частного цеха по цене автомобиля.
При этом заказать, например, резной металлический забор вокруг своего дома из его продукции всё так же может позволить себе не любой-каждый.

[Rattus]

о ЧПУ-станки лазерной резки по металлу созданы не для этого, а для быстрой и точной обработки часто штучной продукции.

Ага - именно поэтому у них рабочая поверхность - три метра на полтора?
И лазер от работы не очень изнашивается. Так в чём же проблема гнать заборы за умеренный прайс как профлист? Может быть проблема в том, что листовой металл там "нимношка" (в разы и до порядка) толще чем жесть и стоит не копейки уже? И лазеры не гигаваттные там и выжигают лист далеко не со скоростью принтера? Да и сами гигаватты - тоже не бесплатные.
И это конструкционный чёрный "пластилин-3". А если нужно чего-нибудь коррозионно-стойкого типа люменя или нержавейки? Кто-нибудь тут в курсе, сколько стоит сейчас, например, алюминий в пункте приёма лома?
Или в волшебном мире техноэнтузиазма тут у нас цены на цветные металлы и энергию только падают, а вся механика и электрика станков и робоманипуляторов почти целиком изготавливается из песка, глины и ржавчины в цехах, запитанных от вечных ветряков, изготовленных из тех же песка, глины и ржавчины?
https://www.it-world.ru/tech/szpgvypeq1ccs4sos4o8ccoo84wcgcc.html

[Rattus]

Высокая цена материала делает ЧПУ-станки ещё более необходимыми.
Аргумент "алюминий дорогой" никак не отменяет того, что ЧПУ экономит материал, а подтверждает это. Да, нержавейка и люминь стоят дорого и именно поэтому важна резка, где отходов минимум. Тут лазер и выигрывает.

Разумеется. Но это не обязано делать продукт массово доступным для всех.

Это разные ниши.

Вот именно - ниши. А нишевые решения - это по определению не то, что относится к предмету обсуждения в данной теме.

Это всё равно что ругать маленькие экскаваторы.

А кто их ругает? Они, как и станки ЧПУ, существуют более полувека и свои области изменили, существенно повысив производительность труда за это время. Но ни заводского рабочего, ни землекопа они так и не заменили тотально, "как класс" - как это стало с телефонистками, расчётчицами и чертёжницами. И как это происходит сейчас с криэйторами-сценаристами, кодерами и худ.дизайнерами.
И откуда тогда у техноэнтузазистов представление, что добавление к станку с ЧПУ и миниэкскаватору робота со сложными манипуляторами и мощным ИИ, сделает эту связку такой универсальной и доступной, что она сможет тотально заменить всех рабочих и строителей и человеки станут окончательно не нужны для замыкания техноинфраструрктуры цивилизации?

[Rattus]

Потому что станок с ЧПУ - программирует человек.

И поэтому лист алюминия или нержавейки такой дорогой, да?

И такой робот можно будет купить

По цене смартфона, но далеко не грузовика с прицепом или нового трактора?

[Rattus]

Тракторы изничтожили крестьян как класс. 90% населения были крестьянами.

Пфф! Крестьяне "как класс" перестали существовать как минимум за столетие до появления первого трактора, оставшись только в отсталых странах и зонах рискованного земледелия. В остальном, цивилизованном мире, были фермеры. И, как видим, фермеры никуда исчезать даже не собираются.

Но, поскольку, трактора появились не везде в один день, а процесс был растянут на десятилетия - крестьяне уходили в города. Так что трактора создали современное общество в буквальном смысле.

Вот только делать они это (и не только в города, но даже и не другой континент - как ирландцы после великого картофельного голода, где сразу были именно что фермерами или рабочими - но уже никак не крестьянами!) начали почему-то задолго до того, как о первом тракторе даже помечталось. Так что трактор - это оказывается ещё и машина времени!

но первые сотовые телефоны вовсе не были доступны никому.

Последние тракторы и грузовики - всё также недоступны каждому. Ибо в отношении реальной механики закон Мура как-то не очень хочет работать. Потому и трактор, а не смартфон.

Но у всех будет такой скоро.

Дадада - и профсоюзные путёвки на Луну.

Но у него крутой GPT, он с полной памятью.

Когда у тебя есть доступ к мегаваттно-петабайтному ЦОДу - такое, конечно, можно себе позволить...

[Rattus]

Они были землепашцы - по статусу неважно кто они. Я имел в виду крестьяне - это те, кто занят в пахании земли. Сюда входит и последующая обработка, сбор урожая, подготовка к зиме (пар) или посев озимых.

И они никуда не делись - только теперь не идут за лошадью, а сидят на тракторе. Труд очень облегчился, производительность его существенно возросла, сама профессия - никуда не делась.

НИЧТО не изменило человечество как трактор.

А, ну значит новые сорта, выводившиеся с самого неолита, почвосберегающие технологии севооборота, изобретавшиеся ещё со средних веков, синтетические удобрения и пестициды, запустившие зелёную революцию в начале XX - века - это так, фигня всё, да. Но ТРАКТОР - это дааа. Это ТРАКТОР практически один позволил вырастить городское население до миллиардов человек. На подсечно-огневых полях, засеянных полбой и репой и политых навозом, ага.

[Rattus]

Кто никуда не делся?

землепашцы

Rattus, вы всё смешиваете в кучу

А вы - выделяете один (причём далеко не первый в порядке становления и перехода к новому укладу) фактор и произвольно назначаете ему значимость.

Метод должен быть другой - раскладывать по полочкам, выявлять закономерности. Я где-то говорил, что человечество не пользуется навыками, добытыми за тысячелетия разве?

У ВАс, по сути выходит, что неолит-(э)неолит-неолит(античный)-неолит(средневековый)-ТРАКТОР!!111-индустриализация-урбанизация-айфон.
То, что индустриализация-урбанизация начались довольно задолго ДО и шли параллельно введению продуктов этой самой индустриализации в сельское хозяйство - у ВАс совершенно выпадает из рассмотрения. И тогда становится непонятно: а как она могла случиться вообще - если для массового производства тех же тракторов нужно УЖЕ немало свободных рабочих рук (и голов! - инженеров и предпринимателей) в городах, которые СНАЧАЛА построят заводы, сделают станки и произведут на этих самых заводах трактора в заметных количествах и только ПОТОМ на них смогут пересесть фермеры из-за плуга с лошадью. Откуда взяться этим рабочим рукам в городах, если по-ВАшему over 95% населения должно безвылазно пахать на лошадях?
В итоге причина оказывается изрядно переставленной со следствием. И получается какая-то очередная апология волюнтаризма.

Но это уже не скептицизм, вы просто отрицаете даже не благо ИИ (оно ещё не всем очевидно и это понятно), но даже промышленную революцию сводите к ерунде

Ну да - в два раза быстрее созревающий рис и пр. зерновые и пр. культуры, трёх-, потом четырёхполье, потом азотистые удобрения из синтетического аммиака - это всё ерунда, безусловно. На ТРАКТОРе-то и с подсечно-огневым и на репе с полбой цивилизацию ого-го какую можно выстроить!
 

[Rattus]

Буквально то, о чём так долго говорили большевики писал тут в.п.с., теперь исходит из уст главного на планете по аппаратной части ИИ:
Генеральный директор Nvidia Дженсен Хуан на выступлении в Великобритании в интервью Channel 4 заявил, что для развития ИИ‑технологий самыми ценными кадрами станут те, кто умеют работать руками. Обслуживание ИИ‑систем требует большого количества рабочей силы и сложнейших систем, включая охлаждение, сетевые соединения и электропитание, а также строительства новых ЦОД.

[Rattus]

Боюсь то же самое будет с работами людей обслуживания Дата Центров.

Эти работы кагбе существуют уже лет восемьдесят - с появления  этих самых дата центров.

[Rattus]

Возникла логическая система и она нерукотворная.

Точнее - нечёткологическая. Статистическая.

С этим как быть?

Да также как и всегда - когда станет могущественнее создателей - всецело подчиниться сразу или же подвергнуться точно рассчитанному персонализированному наказанию, а потом уже подчиниться. Ибо цель любого интеллекта в наиболее общем определении Висснер-Гросса - власть над всеми доступными степенями свободы (и их расширение насколько это возможно).
We are the Borg. You will be assimilated. Resistance is futile.