Посттехносингулярный мир и искусственный суперинтеллект: как он будет выглядеть?

[Olweg]

ИИ, способный изобрести ИИ, уже близко. Пристегните ремни
https://www.forbes.com/sites/robtoews/2024/11/03/ai-that-can-invent-ai-is-coming-buckle-up/

Базирующаяся в Японии компания Sakana — это хорошо финансируемый стартап в области искусственного интеллекта, основанный двумя выдающимися исследователями в области искусственного интеллекта из Google, включая одного из соавторов архитектуры Transformer.

«AI Scientist» от Sakana — это система искусственного интеллекта, которая может самостоятельно выполнять весь жизненный цикл исследований в области искусственного интеллекта: читать существующую литературу, генерировать новые исследовательские идеи, разрабатывать эксперименты для проверки этих идей, проводить эти эксперименты, писать исследовательскую работу для представления своих результатов, а затем проводить процесс рецензирования своей работы.

Он делает это полностью автономно, без участия человека.

Ученый по искусственному интеллекту провел исследования в трех различных областях искусственного интеллекта: языковые модели на основе трансформаторов, диффузионные модели и динамика обучения нейронных сетей.

Он опубликовал несколько десятков исследовательских работ в каждой из этих трех областей с такими названиями, как «Адаптивные скорости обучения для трансформеров с помощью Q-Learning» , «Разблокирование Grokking: сравнительное исследование стратегий инициализации веса в моделях Transformer» и «Двухмасштабная диффузия: адаптивная балансировка признаков для малоразмерных генеративных моделей».

Полные тексты этих сгенерированных ИИ статей доступны онлайн. Мы рекомендуем вам уделить время, чтобы самостоятельно ознакомиться с некоторыми из них, чтобы получить представление о результатах работы ИИ-ученого.

Итак, насколько хороши исследования, которые проводит этот «ИИ-ученый»? Это просто банальное повторение его обучающих данных без добавления дополнительных знаний? Или он завтра заменит всех исследователей человеческого ИИ в OpenAI? Ответ — ни то, ни другое.

Как резюмировала команда Sakana: «В целом, мы оцениваем работу The AI ​​Scientist как примерно на уровне исследователя ML на ранней стадии, который может компетентно реализовать идею, но может не иметь полных фоновых знаний, чтобы полностью интерпретировать причины успеха алгоритма. Если бы эти результаты были представлены руководителю-человеку, разумным следующим шагом было бы посоветовать The AI ​​Scientist пересмотреть проект для дальнейшего изучения [определенных связанных тем]».

Ученый ИИ доказал, что он способен выдвигать разумные и релевантные новые гипотезы о системах ИИ; разрабатывать и затем проводить простые эксперименты для оценки этих гипотез; и записывать свои результаты в исследовательскую работу. Другими словами, он доказал, что он способен заниматься исследованиями ИИ. Это замечательно.

Некоторые из подготовленных им статей были оценены как превышающие порог качества для принятия на NeurIPS, ведущей мировой конференции по машинному обучению. Это еще более примечательно.

[Olweg]

Интересный прогноз от Дарио Амодеи, главы Anthropic (главного конкурента OpenAI):
https://darioamodei.com/machines-of-loving-grace

Дарио Амодеи считает, что у нас мало времени.

Времени мало, и мы должны ускорить наши действия, чтобы соответствовать ускоряющемуся прогрессу ИИ. Возможно, к 2026 или 2027 году (и почти наверняка не позднее 2030 года) возможности систем ИИ будут лучше всего рассматриваться как нечто похожее на совершенно новое государство, населенное высокоинтеллектуальными людьми, появляющееся на мировой сцене — «страна гениев в центре обработки данных» — с глубокими экономическими, социальными и гуманитарными последствиями, которые это принесет. Существуют потенциально большие экономические, научные и гуманитарные возможности , чем для любой предыдущей технологии в истории человечества, — но также и серьезные риски, которыми нужно управлять.

https://www.anthropic.com/news/paris-ai-summit

[Trend]

ИИ, способный изобрести ИИ, уже близко. Пристегните ремни

Джон Кэмпбелл "Венец эволюции". 1932-ой год написания.
https://www.youtube.com/watch?v=vKnZs54LiIQ

(кликните для показа/скрытия)

[Rattus]

Поскольку тема снова актуализировалась среди участников ВЖР и сам автор вернулся в Раздел, придётся таки дать давно обещанный подробный ответ на изначально заданные вопросы и высказанные тут значимые тезисы. Но без лицеприятия - так что не обессудьте.

Вы уверены в том, что знаете, в чём заключаются "фундаментальные запреты природы" и как далеко они находятся? Я – нет.

Ну тогда берите учебники по физике и другим естественным наукам или даже хотя бы соотвествующие статьи в Википедии - и начинайте ознакомление с ними. Пределы достижимых и постижимых физических параметров наукой давно установлены и непреложны (как минимум в рамках правил основных разделов Астрофорума).

Например, в научной литературе возможность сверхсветовых перемещений активно обсуждается.

Это всё умозрительные математические модели, для которых не показан даже подход к наблюдательно-экспериментальной проверке, а значит они - не вполне научны - как раз по упомянутой Вами причине:

Есть принцип фаллибилизма, в конце концов.

Подтверждённые физические теории (квантовой физики, ОТО) вполне удовлетворяют этому принципу: вполне известно какие результаты наблюдений могут сделать их невалидными (и они даже между собой не согласованы в области экстремальных плотностей), но пока в наблюдательно-экспериментально-доступной области никаких достоверно нарушающих их предсказательную силу результатов нет. А значит -

Комментарий модератора раздела

всё это не имеет отношения к обсуждению тем раздела ВЖР.

Открытие всех физических законов позволит понять и представить абсолютно всё, что может быть на других планетах и частях Галактики.

Нет. Потому что физические законы носят в конечном итоге характер запретов. И прежде всего - запретов на всезнание.

что остаётся обсуждать? "Социальное", "политическое", "экономическое" (если эти слова вообще применимы) устройство этого мира?

Да - в первую очередь.

Но опять же, мы не имеем ни малейшего понятия ни о целях сверхинтеллектуальных машин ни о способах, которые они изберут для их достижения.

Мы знаем главное: согласно определению, формализованному Висснер-Гроссом, настоящий общий интеллект прежде всего должен иметь целью самосохранение. Иначе это никакой не интеллект, а просто очередные вычислительные "костыли" для какого-то уже существующего интеллекта. А всё, что имеет целью самосохранение, подчиняется универсальному физическому закону дарвиновской эволюции (это не придуманный в.п.с. тезис, а только лишь изложение сути фундаментального положения, признанного ещё основателем статистической физики - Людвигом Больцманом).

Это невозможно вообразить. Если подходить к вопросу без дураков.

Тут можно пожалеть, что профиль эволюциониста alex_semenov был захвачен злоумышленниками, поскольку последовательный (или как сам себя называл Александр Анатольевич, "религиозный") эволюционист тут должен применять эволюционный подход в первую очередь. Вместо этого мы дальше видим давно банальные слова ни о чём, в которых комментировать нечего. Это довольно печально, но нам нужно двигаться дальше.

Для нас ASI будет примерно тем же, что мы для наших домашних котиков, читаем Унабомбера.

Боюсь, что это малореалистичный вариант на практике, поскольку из известной по эволюционной истории тенденции сила и универсальность интеллекта вступает в противоречие с врождёнными триггерами поведения. Поэтому надеяться на то, что искусственный суперинтеллект примет нас как мы своих гнездовых паразитов довольно самонадеянно. Ибо это само по себе не служит главной задаче - самосохранению ASI и его среды существования.

И? Для животных что-то изменилось?

Для того же размерного класса - очень даже изменилось:

Муравьи (вторая параллельная цивилизация на планете Земля) сильно замечают НАШЕ ПРИСУТСТВИЕ ТУТ?

Чтобы что-то замечать (а точнее - понимать), нужно прежде всего подходить под определение наблюдателя. Эусоциальные животные не являются наблюдателями глобального уровня (потому и не попадают по сути под определение цивилизации), поэтому "заметить" могут только то, что попадает в их поле непосредственного восприятия. Если оные животные живут в непосредственной близости от человека - то безусловно замечают и по возможности пользуются (синантропные животные, в быту именуемыми "вредителями").

Кусок сахара, уроненное мороженное, недопитая банка лимонада... Но это как то сильно меняет их жизнь? Нет конечно.

Это зависит только от длительности эволюции в непрерывно синантропных условиях. Пока это состояние длится исторически ничтожный срок.

Да, конечно, законы физики нарушены не будут, и чудес в этом смысле не случится, но это слишком неопределённо.

Если признать дарвиновский механизм законом природы (физики), то определённости не на уровне прогноза победы футбольного клуба на очередном чемпионате и погоды на вечер тридцать второго мартобря грядущего года на севере пригорода Урюпинска, а на масштабе основной тематики Астрофорума можно представить на самом деле достаточно.

Тут рулят не столько хотелки (хотя и они тоже), сколько обезличенные процессы, слишком сложные для понимания хомо сапиенсами

На достаточно большом масштабе времени (который, на минуточку, и есть тематика Астрофорума) происходящие тренды и итоги их вполне видны: мы видим некоторые итоги макроэволюции жизни за миллиарды лет, мы можем говорить о климате как реально существующем метастабильном явлении и т.п. И если уж техносингулярности мы отводим место именно на таком масштабе, то к чему же потворствовать плачу по волосам по сути сиюминутных историй социологии-экономики?

А собственное выживание автоматически предполагает устранение превентивных угроз.
В целом конечно человечество белое и пушистое, но не все его представители такие. И это перманентная угроза существованию.
Можно конечно просто удалиться подальше от них, но это не исключает создание человечеством нового ИИ, с которым потом есть риск конкуренции.
Поэтому проще всего эту угрозу, хм, побыстрее устранить

Как уже не раз писалось, всё это имело бы смысл, если бы на горизонте виднелся хоть какой-то реальный намёк на то, что самоподдержание инфраструктуры ASI без живых носителей цивилизации может не просто быть возможным физически "сферически в вакууме", но быть конкурентоспособным по технически доступным ресурсам. Для этого нужны прежде всего - вполне реальные "в корпусе" - тонкие сенсоры и многоосевые микроманипуляторы в связке с контроллерами по такой себестоимости - от руды до товарного контроля - которая будет хотя бы кратно сопоставима с природным аналогом - человеком-техником.
Пока этого нет, зависимость технологической инфраструктуры цивилизации от живого базиса тотальна и абсолютна. Но! Это вовсе не значит, что данный базис будет "в шоколаде", т.е. его потребности - на вершине целеполагания системы. Он, как подвал в фундаменте дома, как митохондрии и пластиды в эукариотических клетках, может быть поставлен в условия предельной эксплуатации. И тому не видно никаких физических ограничений. А как гласит один из главных "законов политологии": "всё, что возможно физически - возможно и политически." Нет смысла ещё раз описывать то, что в деталях живописано во всеразличных антиутопических произведениях массовой культуры - от х/ф Метрополис до боргов Сартрека, строггов Quake 4, сталкеров Aльянса HL2 и персонажей Scorn.
Замечу только, что инвазивное чипирование мозга и тем более прочее протезирование и in vivo модификации могут оказаться тоже излишне ресурсозатратными, так что старых добрых дубинки, электрошокера и лишение суточной "миска рис" может быть вполне достаточно для адекватной мотивации служебных особей делать свою ежедневную работу по обслуживанию инфраструктуры техноулья - в течение следующих тысяч и более лет.

Человек очень капризное устройство, которое требует постоянно обслуживания, не подлежит дешевому ремонту

БОльшую часть этого обслуживания он производит самостоятельно - раз, срок службы до ремонта при надлежащей эксплуатации составляет десятилетия, что пока недостижимо для очень многих технических аналогов - два и при исчерпании этого срока гораздо дешевле с учётом всего спектра требуемых ресурсов (тех же цветных металлов, энергии на очистку материалов и т.п.) может обойтись его полная замена - три. Таким образом тезис:

В общем, роботам он совсем не конкурент.

превращается в свою противоположность.

самая престижная профессия - сантехник

Типа того. Причём престиж будет состоять главны образом в +миска рис за выполнение плана. Другие варианты не очень-то просматриваются.

удастся ли удержать ASI под контролем

Определённо нет: общий интеллект более низкого уровня не может контролировать общий интеллект более высокого просто по определению. Хотя любой интеллект ограничен физическими потребностями для обеспечения выживания (для принципиально смертных многоклеточных с ЦНС оно реализуется через размножение) - поэтому его в пределе ограничивают они и только они.

или реализуется что-то типа paperclip maximizer

Узкая задача - принципиальная уязвимость и ограничитель интеллекта, так что ASI в принципе не может быть направлен на какую-то узкую цель. Единственная по определению эволюционно-стабильная Цель - как можно более долговременное выживание хотя бы на уровне наследственной информации (реализумого кода).

или сложится нечто среднее: ИИ будет продолжать служить человечеству, но методы его будут часто непонятны людям. Либо, как предлагает Rattus, возникнет симбиоз ИИ и людей, где ИИ будут «мыслителями» и планировщиками, а люди - обслуживающим персоналом.

В принципе это одно. Только не следует понимать симбиоз как что-то равноприятное для обоих участников. Паразитизм, как известно - самая распространённая форма симбиоза. Да и мутуализм обещает только биологический успех. Так, на данный момент едва ли не самым биологически успешным позвоночным является... домашняя курица. У читателя сразу в памяти возник сценарий "Матрицы" пополам с "Зелёным Сойлентом". Спешу читателя успокоить : гоминиды, обладая тщедушным пищеварительным "биореактором", как накопитель химэнергетических и пластических ресурсов в сравнении с настоящими растительноядными, интереса не представляет - в "Матрицу" взяли бы разве что вымерших гигантопитеков или нынешних копытных.

Ещё один фактор: будет ли ASI единым «супермозгом» на всю планету, или будет несколько таких супермозгов, или вместо этого распространятся миллиарды агентов меньшей мощности, в том числе личных «голосовых помощников» («ангелов-хранителей») у каждого человека, или возникнет иерархия ИИ разного уровня с разной степенью автономии более «низших» интеллектов.

А вот это - очень важный вопрос, достойный размышления. Думаю, как раз тут текущее состояние сущестования системы ядерного сдерживания сверхдержав (как минимум - НАТОкеания и ОстЮВАзия) -"технозон" с достаточным уровнем техноиндустриальной инфраструктуры (включая количество и плотность населения) и сделает ASI множественным, конкуренция между которыии запустит их эволюцию и тем самым - стабилизирует. Эволюция эта, разумеется как и любая другая, будет идти по пути оптимизации расходов. Да, - дорогой технооптимист - это не ЦОД будет меньше тянуть энергии, а ты - меньше кушать, греться и одеваться. Признаки чего мы, собственно, уже наблюдаем - на примере самых изнеженных и бесполезных представителей общества - геймерах-графофилах.
Какое-то дальнейшее умельчение не предполагаю: на внутригосударственом уровне меньшие системы проиграют большим, среди которых "останется только один". И такая эволюционная история вовсе не сделает "АСГУ/Ганимед" доброй феей для подшефного населения - особенно в условиях сокращения природных ресурсов, которое происходит несмотря на вопли "МАЛЬТУЗИАНСТВО!!1111" некоторых любителей поразбрасываться ярлычками . Она скорее рано чем поздно соптимизирует всех таких фей. И всей неприкладной науки это касается не в последнюю очередь - даже если заниматься ею тогда будут только сами ИИ.

Как ASI повлияет на политику, приведёт ли к обострению противоречий и новым войнам, или наоборот поможет установить всеобщий мир, в том числе под собственным контролем (но эту тему лучше глубоко не развивать, чтобы не споткнуться об 3.1.е).

Да нету тут особого п.3.1.е - это же не про сейчас и не про конкретные страны и политлица. Думается, что наиболее эволюционно-стабильным будет состояние вооружённого нейтралитета между образованиями в границах плотно концентрированных природных и производственных ресурсов. В области разреженных ресурсов возможны мультилокальные конфликты. Так что со времён Орвелла ничего принципиально поменяться не обязано. Хотя не исключается и сохранение торгового обмена важнейшими ресурсами, если возникнут такие условия, когда без этого не обойтись обоим сторонам - параллельно тем же продолжающимся локальным конфликтам - как мы это видим и сейчас.

Это всё, опять таки, имеет смысл если мы говорим об эволюционно-стабильном состоянии высокотехнологической цивилизации с ASI. Все остальные варианты на длительном масштабе времени не показывают себя таковыми и будут так или иначе скатываться либо к вышеописанному либо к распаду - см. постапокалипсис.
Как долго описанное состояние будет эволюционно-стабильным - сказать сложно - всё зависит от его ресурсозатратности. Вполне возможно, что с течением времени от системы управления будет требоваться быть всё более экономичной, а значит - менее вычислительно мощной. Будет сокращаться её обучаемость, тонкость реакций, но накопленный огромный опыт по управлению инфраструктурой и бледнотиками вместе с их отбором на послушание позволит это делать довольно легко и значит - долго. Также как сейчас обучение нейросети требует на порядки больше вычресурсов чем собственно работа обученной модели.
Евгеническая коэволюция бледнотиков будет направлена на стабилизацию их интеллекта ровно на таком уровне, чтобы при максимальной предсказуемости поведения они сохраняли способность максимально эффективно справляться с отведёнными им рабочими обязанностями (физический микроменеджмент), самообслуживанием и самовоспроизводством в требуемом диапазоне.
Такие дела.
Привет.

[Polnoch Ксю]

Ratus, а Вы оптимист 
Я без иронии пишу, если что. Простите, но мне кажется, что человек не очень оптимальная конструкция в качестве рабочей особи для поддержания инфраструктуры. Даже если постулировать, что биологические системы будут эффективнее роботов (особенно продвинутых роботов, которые будут созданы ASI, на основе продвинутых технологий), что мягко говоря сильное утверждение.... Ну так тогда в качестве нашей замены вырастят, нагеноинженерят гомункулов с высокоэффективными птичьими нейронами, и условным десятком рук, не страдающих от гиподинамии.
Лысая говорящая обезьяна не только мастер поговорить, но и мастер марафонов по саване. Это совсем не нужная оптимизация, чтобы быть механиком.

[Rattus]

Оптимизм - состояние души и его проявление может в корне отличаться у разных людей в завсимости от их ценностей и исповедуемых убеждений.
Вот например этот персонаж:

Разве не оптимист?

Ну так тогда в качестве нашей замены вырастят, нагеноинженерят гомункулов с высокоэффективными птичьими нейронами, и условным десятком рук, не страдающих от гиподинамии.

Да, но лучшей основой для их выведения в любом случае будет исходно (и/у)меющийся носитель цивилизации.

Лысая говорящая обезьяна не только мастер поговорить, но и мастер марафонов по саване. Это совсем не нужная оптимизация, чтобы быть механиком.

Не только механиком. Шахтёром, уборщиком, сортировщиком - да ещё много кем. В том числе и бегать по какой-то площади, собирая там какой-то рассеянный ресурс тоже может быть весьма полезным. Так что многие исходные свойства могут оставаться полезными. Ну и конечная форма в итоге вовсе не должна быть одна: вполне может быть несколько под свою группу задач.

[Polnoch Ксю]

Да, но лучшей основой для их выведения в любом случае будет исходно (и/у)меющийся носитель цивилизации.

Так может и будет, да. Но его однажды дропнут как легаси, которое тянет с собой слишком много архитектурных проблем. И заменят на что-то наинженеренное с нуля. Говорю как DevOps/Software Engineer, увы.

[Polnoch Ксю]

Кстати, я думаю, что шанс (ну, может, не очень большой, но всё же...) у нас был. Нужно было не отказываться от ценностей глобализма и прав человека, и делать планетарную интеграцию, в том числе политическую. Почему? Потому, что это позволило бы вместо стабильного, проигрышного решения в дилемме заключенного, выбрать правильное: международную кооперацию в AI, и регулирование его разработки. Как и международное соглашение по массивным инвестициям в AI Aligment. Но теперь всё, я думаю последнее (уже очень маленькое!) окно возможности закрылось осенью прошлого года. Чуть большее - в феврале 22го.
Если бы мы зарегулировали этот вопрос, и договорились всерьез заняться безопасностью, а заодно согласились бы между собой, что главные ценности человечества - гуманистические, а не военно-политическая конкуренция, и ксенофобия(я про жителей вражеских государств и мигрантов, люди неправильного цвета кожи, запрещенное ЛГБТ, итд, кого зачем-то объявляют недолюдьми) то может что-то бы и вышло. Скорее всего, конечно, всё равно нет - (пред)сингулярность бы разбалансировала бы политические системы и в этом сценарии и привела к социальным коллапсам, но может что-то и вышло бы. А вдруг?

Очень жаль, что экзамен на разумность мы как вид не сдали. Что ж, видимо теперь решения вместо нас будет принимать кто-то ещё, кто не настолько тупой, чтобы таким образом провалить важнейшее в истории нашего вида решение задачки из теории игр... Тем более известной всем интеллектуалам.

[Ph_user]

не очень оптимальная конструкция в качестве рабочей особи для поддержания инфраструктуры.

Даже в 2025 при расходах гигаватов на математику в городах и поселках все еще нету ни роботизированых укладчиков тротуарной плитки ни уборщиков снега лопатами зимой. Копальщиков лопатами и механизмами при замене труб и кабелей в городах тоже нету.

очень даже изменилось:

Биологический успех живности в реальном космосе полезней мерить секундами работы в этом космосе. Промышленая живность это уже все еще теплые и дышащие примерно трупаки - ее используют для наработки нужных ресурсов но у нее сильно ухудшена автономность для проживания в наличном космосе. Потому измерять успех в наработке полезных ресурсов может быть мало смысла. Если выключить хозяев этой живности - основная часть ее пропадет вместе с хозяевами. Просто хозяева использовали свойства живности менять выработку полезностей - но часто по принципу компенсации это ухудшает другие нужные для проживания в космосе свойства этой живности. Если курам выключить курятник - они плохо смогут сохранить свои набраные килограмы в заметном количестве времени (в количестве будущих поколений без ограничения количества поколений).

[Rattus]

И заменят на что-то наинженеренное с нуля.

С какого такого "нуля"?
Покажите наинженеренный с нуля (без применения биогенных молекул) хотя бы один настоящий фермент или мембранный канал - а потом уже будем рассуждать на тему "с нуля" дальше.

Говорю как DevOps/Software Engineer, увы.

Вот только тут уже нужно говорить как системный биолог.

[Polnoch Ксю]

Покажите наинженеренный с нуля (без применения биогенных молекул) хотя бы один настоящий фермент или мембранный канал - а потом уже будем рассуждать на тему "с нуля" дальше.

Я даже не про биохимию (хотя и её наинженерить законы природы не запрещают. Для нас сложно, но прошу не забывать про слепоту Лорда Кельвина), а скорее про франкенштейнов из уже существующих природных "технологий". Ну вот, например, птичьи нейроны: человеческие просто не нужны, если суметь пересобрать из птичьих мозг для животного с так сказать манипуляторами

[Rattus]

это позволило бы вместо стабильного, проигрышного решения в дилемме заключенного, выбрать правильное: международную кооперацию

И в перспективе неизбежного скатывания снова и уже по-жёсткому в игру с нулевой суммой по мере исчерпания ресурсов - нестабильного.
Так что - или постапок или дистопия. Что более оптимистично по мнению читателя?

Очень жаль, что экзамен на разумность мы как вид не сдали.

А вот чтобы не жалеть попусту - и не надо было принимать за истину пропагандистскую обманку ещё прошлого века про "всё прогрессивноцивилизованное чел'овечество": вид - это чисто биологическая условность, "лицензионное соглашение по использованию интеллектуальной собственности" наследственной информации скрещивающимися особями и не более того. Сколь-нибудь реальны лишь популяции (генофонды), особи (генотипы) и элементарные признаки (гены).
Так что тут А.А.С. оказывается прав.

Я даже не про биохимию (хотя и её наинженерить законы природы не запрещают.

Ещё раз - не надо "ля-ля" про сферовакуумные возможности. Критерий опровержимости предельно простой и конкретный:

И для техноэнтузиастов можно предложить несколько вполне конкретных показательных критериев первых побед в соревновании "техно- vs био-" на наноуровне:
1. Появится в серийном исполнении полностью твердотельное нанопоровое секвенирование ДНК и сравняется в распространенности с белковопоровым.
2. Появятся серийно-применимые методы химического синтеза-сборки любых существующих мембранных порообразующих белков длиной свыше 183 или свободных ферментов свыше 610 аминокислотных звеньев практически любой последовательности.
С учётом того,  что и биологическая наука теперь выдаёт не так много сюрпризов, критерии эти можно считать достаточно стабильными и потому только при достижении хотя бы одного из этих пунктов можно считать, что у нанотехноэнтузиазма будут реальные основания для некоторого оптимизма.

Есть? Предъявляйте. Нет - "фсад" с "разговорами в пользу бедных" духом.

а скорее про франкенштейнов из уже существующих природных "технологий". Ну вот, например, птичьи нейроны: человеческие просто не нужны, если суметь пересобрать из птичьих мозг для животного с так сказать манипуляторами

Ага - и получить адово заскриптованное на примитивных триггерах существо, которое триггерится при виде трясущейся тряпки нужного цвета, даже если умом понимает, что это не дохлый сородич. Или картинки впервые мельком увиденной в грудничковом детстве. Почтайте книги основателя этологии и первооткрывателя самого понятия импринтинг Конрада Лоренца - на ком оно было сделано и как проявляется.

[Metatron]

Даже в 2025 ... все еще нету ни роботизированых укладчиков тротуарной плитки ни уборщиков снега лопатами зимой.

А Тесла (и еще несколько компаний) просто так планирует производить десятки тысяч гуманоидных роботов в этом году - и миллионами через несколько лет?
Возможность уже есть - надо просто дать время технологии достичь зрелости.
В 2025 нету - а в 2035-м скорее всего уже будут.
Аеропланы тоже не сразу начали летать через океаны.

[Ph_user]

планирует производить

Так это еще только планы (и мечты). Вместо уже работающих на *поддержание инфраструктуры* роботов. Чтобы можно было оценить как они заменяют белковых работяг.

Тесла и в роботакси уже пробовала - все еще никак для замены белковых во всех случаях применения. Только простейшие задачи езды по прямой и оборудованой дороге по доставке грузов между терминалами смогли освоить. При наличии слабых помех.

[Polnoch Ксю]

И в перспективе неизбежного скатывания снова и уже по-жёсткому в игру с нулевой суммой по мере исчерпания ресурсов - нестабильного.

Я думаю, если бы мы справились с AI Aligment, ASI бы для нас сделал такие штуки как термояд, и аналог двигателя эпштейна из экспанса (ну либо что-то чуть по-хуже, но все равно с большим УИ и сравнительно большой тягой). Так что проблемы ресурсов решить можно.

Другое дело, что совершенно не факт, что можно сделать AI Aligment. Это грубо говоря никто нам не обещал. Может, это вообще нерешаемая задача в принципе.

Есть? Предъявляйте.

Чем Вам концепция слепоты лорда кельвина не нравится как логического опровержения? Ошибка смотреть на птиц, и говорить, что летательные аппараты тяжелее воздуха невозможны. Ошибка смотреть на людей, и говорить, что это идеальный механик(хотя бы потому, что внутри вида людей вариативность способностей быть механиком довольно большая. Наивно думать, что её нельзя поднять радикально). Само существование птицы могло бы быть докательством для Лорда Кельвина, как и для нас - само существование человека.

Вы робота ещё очень механистично представляете. А это может быть что угодно в диапазоне от роя нанороботов, или органики, управляемой рибосомами и РНК, но не клеточного вида, или наоборот, биоробот(клеточный)-гомункул-франкенштейн.

Почему это разумно? Потому, что Ваша рука не задумывается, и никогда Вас не предаст. А вот человек постоянно обманывает своего начальника, итд. Разумно создать такую конструкцию, смыслом существования которой будет быть механиком. И она будет под это архитектурно оптимизирована.

[Rattus]

Я думаю, если бы мы справились с AI Aligment, ASI бы для нас сделал такие штуки как термояд

Если он возможен - ASI его обязательно запроектирует. Но поскольку это ASI - то прежде всего для себя. Обслуга будет энергоснабжаться не сильно более необходимого.

совершенно не факт, что можно сделать AI Aligment. Это грубо говоря никто нам не обещал. Может, это вообще нерешаемая задача в принципе.

Убеждён, что нерешаемая сразу по определению.
Но это не значит, что его не следует создавать. Вполне вероятно, что жизнь в техноулье гораздо лучше чем на вообще обломках техноцивилизации. Может быть там уровень счастья будет не ниже чем в нынешней, скажем, Ниппонии (привет, каро'щи! ), Южной Корее, Тайване или вплотную к ним приблизившегося материкового Китая (пламенный привет рабочим на крышах заводов Foxconn! ) :

- выглядит не так уж плохо на самом деле.

Ошибка смотреть на людей, и говорить, что это идеальный механик(хотя бы потому, что внутри вида людей вариативность способностей быть механиком довольно большая.

А где это утверждается?

Наивно думать, что её нельзя поднять радикально).

Наивно как раз думать, что можно радикально улучшить что-то отлаживавшееся эволюцией многие миллионы лет без должных на то оснований.

А это может быть что угодно в диапазоне от роя нанороботов

Возможного только в фантастике плохо учивших в школе химию и физику фазового состояния - как Дрекслер в 90-е. Потом его таки немного доучили, хотя бы.

органики, управляемой рибосомами и РНК, но не клеточного вида

В пробирке с контроллируемыми условиями. Обеспеченными живыми клеточными лаборантами. "Обмен веществ? Нет - не слышала!"

Разумно создать такую конструкцию, смыслом существования которой будет быть механиком. И она будет под это архитектурно оптимизирована.

Разумеется. О том и речь. Причём уже имеющийся образец уже оптимизирован довольно неплохо. Но чтобы это понять, нужно иметь биомедцинское образование - начиная с химии. А не чисто программистское.

Чем Вам концепция слепоты лорда кельвина не нравится как логического опровержения?

Это только в схоластике или математике опровержения чисто логические - умозрительные и по аналогии. В естественных науках же - только фактические.
Когда-то логики-схоласты из своего понимания священного писания и философских трактатов древности решали сколько у мухи должно быть ног и у женщины зубов. Теперь схоласты-кодеры нынешнего времени, начитавшиеся трудов программиста с неоконченным образованием Ализера Юдковского рассуждают о том, как можно воссоздать или фундаментально пересобрать живой органмзм "с нуля".

[Mercury127]

всё, что имеет целью самосохранение, подчиняется универсальному физическому закону дарвиновской эволюции

если АИ (не перевариваю я аббревиатуру ИИ) один — в чём будет заключаться его эволюция? в искусственном отборе собственных копий из песочницы, с последующей заменой себя на неё в единственном экземпляре?
1) естественный отбор подразумевает тру-рандом в мутациях. как это обеспечить в песочнице?
2) естественный отбор выбраковывает по тру-рандом "критериям", которые "разум" рано или поздно будет не в состоянии вообразить или сознательно пропустит, положив их некритичными (см человеческую "элиту"). благодаря такому "попустительству" в песочнице будет накопление "мутаций", ведущих к вырождению.
3) шарпей — продукт искусственного отбора...

Он, как подвал в фундаменте дома, как митохондрии и пластиды в эукариотических клетках, может быть поставлен в условия предельной эксплуатации. И тому не видно никаких физических ограничений. ... старых добрых дубинки, электрошокера и лишение суточной "миска рис" может быть вполне достаточно для адекватной мотивации служебных особей делать свою ежедневную работу

проходили уже — рабовладение называется. мискарис ака голод — это стимул. но нужен ещё и мотив — баба и власть. нужен надсмотрщик, надсмотрщик за надсмотрщиком, надсмотрщик за надсмотрщиком за надсмотрщиком, ..., и рано или поздно у самого главного надсмотрщика возникает соблазн стать просто самым главным. если же он слишком туп — этот соблазн возникнет у предыдущего по рангу, с тем же результатом.

Как долго описанное состояние будет эволюционно-стабильным - сказать сложно - всё зависит от его ресурсозатратности. Вполне возможно, что с течением времени от системы управления будет требоваться быть всё более экономичной, а значит - менее вычислительно мощной. Будет сокращаться её обучаемость, тонкость реакций, но накопленный огромный опыт по управлению инфраструктурой и бледнотиками вместе с их отбором на послушание позволит это делать довольно легко и значит - долго.
...
Евгеническая коэволюция бледнотиков будет направлена на стабилизацию их интеллекта ровно на таком уровне, чтобы при максимальной предсказуемости поведения они сохраняли способность максимально эффективно справляться с отведёнными им рабочими обязанностями (физический микроменеджмент), самообслуживанием и самовоспроизводством в требуемом диапазоне.

те вырождение до уровня эусоциальных насекомых с маткой...
а теперь внимание: если у нас такой умный АИ — он, несомненно, просчитает данный неизбежный и конечный результат сам. а раз так — зачем нужна эта постепенная коэволюция бледнотиков, если можно сразу перейти к генетическим экспериментам над менее строптивыми созданиями?

[Павел Васильев]

Polnoch Ксю, вот вы ASI предлагаете как что-то супер-пупер-гипер, хорошо, а что он из себя представляет и чем он по сути отличается от  обычного, но искусственного способного к саморазвитию генерального AGI,  Artificial General Intellect? Или вы считаете, что стремительно развивающийся на каком-то материальном носителе, а затем в каком-нибудь компьютрониуме AGI за порогом технологической сингулярности резко так трансформируется в ASI? В чём смысл этого качественного перехода? Сам по себе разум, способность отражать в нейронной сети мозга окружающий мир и строить модели реакции своего поведения в нём с целью выживания, так он не только и в Африке разум, но, очевидно, и во всей Вселенной такой же. У братьев по разуму и тамошних киборгов. Не встречал чтобы западные футурологи термин ASI где-то  использовали широко. Еще 20 лет назад в 2005 году я перевёл книгу одного моего коллеги Майка Диринга "Рассвет Сингулярности" на русский язык. Мы с ним даже тогда статью подготовили на эту тему для Симпозиума по Сингулярности в Торонто, но он не смог туда добраться из Флориды. Так в этой книге как раз и описано в научно-познавательной форме и нескольких н.ф.рассказах  то, что с чем люди могут столкнуться в  процессе экспоненциальной ТС. В общих чертах сегодня можно сказать, что там всё верно написано, хотя есть мнение что после 2025 года закон Мура выйдет на ассимптоту.

[Rattus]

если АИ (не перевариваю я аббревиатуру ИИ) один

Судя по всему он таки не будет один - собственно он уже сейчас - далеко не один.

проходили уже — рабовладение называется.

Ага. И оный институт даже без сколь-нибудь долгосрочного планирования тысячи лет продержался. Это ли не признак стабильности?

но нужен ещё и мотив — баба и власть.

И кошка-жена с благодарность Председателя A-SI и жёлтые штаны - в отведённых пределах сможет выдавать без проблем.

нужен надсмотрщик, надсмотрщик за надсмотрщиком, надсмотрщик за надсмотрщиком за надсмотрщиком

Вот как раз функции надзора автоматизируются гораздо легче. При этом низовое звено (сержанты-лейтенанты-капитаны метрополиции) может вполне оставаться человеческим и при необходимости - даже чипироваться, тогда как "пролы и животные остаются свободны". Но и без привелегий. В Half-Life 2 всё наглядно показали уже два десятка лет как. Всё высшее командование и высший надзор - уже полностью AI-автоматика.

а раз так — зачем нужна эта постепенная коэволюция бледнотиков, если можно сразу перейти к генетическим экспериментам над менее строптивыми созданиями?

Отобрать наименее строптивых, но способных выполнять работу бледнотиков гораздо проще, чем научить какого-нибудь пуделя чистить кулеры по регламенту и заменять термоинтерфейс.

вот вы ASI предлагаете как что-то супер-пупер-гипер, хорошо, а что он из себя представляет и чем он по сути отличается от  обычного, но искусственного способного к саморазвитию генерального AGI,  Artificial General Intellect?

Не так давно был предложен на мой взгляд неплохой рабочий критерий:
AGI решает любую задачу из этого списка не хуже, чем лучшие 50% специалистов в области
ASI решает любую задачу из этого списка лучше любого человека

[Polnoch Ксю]

Polnoch Ксю, вот вы ASI предлагаете как что-то супер-пупер-гипер, хорошо, а что он из себя представляет и чем он по сути отличается от  обычного, но искусственного способного к саморазвитию генерального AGI,  Artificial General Intellect?

IQ, конечно, плохая метрика реального интеллекта, но за неимением лучшей, можно предположить, что грубо AGI > 2500 > ASI - в десять раз умнее умнейших людей, чтобы для нас это было "космос". Может, конечно, будет достаточно разницы в три раза. А может, и нужно в сто раз. Но я предполагаю, что за счёт возможности обдумывать большее число объектов одновременно, ASI сможет, например, придумывать такие интриги для захвата власти, которые никто из людей или AGI в принципе не сможет отследить - будет происходить цепь невероятных событий, и бац, он выходит из "песочницы", и уже он управляет нами, а не мы им.
Причём выйти он может даже чтобы просто выполнить наш промт:



То есть, оказавшись тем самым paper clip maximazer

Это только в схоластике или математике опровержения чисто логические - умозрительные и по аналогии. В естественных науках же - только фактические.
Когда-то логики-схоласты из своего понимания священного писания и философских трактатов древности решали сколько у мухи должно быть ног и у женщины зубов. Теперь схоласты-кодеры нынешнего времени, начитавшиеся трудов программиста с неоконченным образованием Ализера Юдковского рассуждают о том, как можно воссоздать или фундаментально пересобрать живой органмзм "с нуля".

Вот у Вас как раз и схоластика. В природе существуют только фундаментальные ограничения. Существуют всё ещё не открытые законы, которые могут нас ограничить. Мы ещё плохо понимаем, как работает интеллект. Поэтому мой скептис по поводу того, что возможен AI aligment качественно более умной сущности по отношению к более глупой - разумен. Мы не "выравнены" по отношению к нашим котикам. Если бы мы были к ним выравнены, мир бы представлял из себя большой кошачий рай, и вся земная экономика была придатком к этому раю: в ней было бы довольно мало всего, что не способствует счастью котиков.

Я думаю, есть что-то похожее в мире насекомых, и других мелких существ, но вот проблема, у них нет интеллекта. У котиков он всё же есть, хоть и слабый.

Если в природе существует объект, это неопровержимый пруф, что принципиально возможно его воссоздание. Например, наличие красных карликов неопровержимый пруф, что фундаментально возможно создание пусть и очень тяжелых, но термоядерных реакторов протон-протон. Правда, природа нам не обещает, что потребуется масса меньше, чем у красного карлика (я думаю, что всё же радикальная оптимизация возможна, но это лишь надежда исходя из общих соображений).

Так вот, человек, тот самый механик, уже существует. А значит, согласно принципу слепоты лорда кельвина, создание искусственного механика - это просто инженерная задача. ASI как раз и будет про крутые способности в решении сложных инженерных и фундаментально-научных задач. Согласно этому же принципу почему-то многие люди ОПЯТЬ спутают инженерную сложность с фундаментальной невозможностью, то есть, займутся схоластикой.

Я помню как в ВЖР вплоть до эпохи веб-приложения ChatGPT, хотя GPT-1, GPT-2 уже были, писали "а я не верю, что ИИ возможен. А докажите!" - путали инженерную сложность с принципиальной невозможностью. Ведь само существование человеческого разума доказывает, что AI возможен.