Посттехносингулярный мир и искусственный суперинтеллект: как он будет выглядеть?

[skvj]

Rattus, я не вижу смысла спорить дальше, вы победили))
Сделаю лишь небольшую ремарку.
Вы строите свою аргументацию на биологической проекции, смотреть на ИИ через призму отбора, конкуренции, доминирования. В мире генов это работает. Но разум не ген. Он не эволюционирует через спаривание и смерть, а через смысл и знание.

Только что прошло общее собрание акционеров Тесла.
Маск продолжает свою линию - андроиды будут самый востребованный продукт в истории человечества и заменят весь труд. Не создаст безработицу, а освободит людей от обязанности труда. Андроидов будет больше чем людей, каждый Оптимус будет ловчее любого человека во всём. Он с Гроком на борту заменит хирургов! ни один хирург не сможет соперничать с ним. И перевернёт всю медицину.

Нет смысла прежде его краха говорить о фиаско. Давайте дождёмся результатов - Оптимус будет выпускаться в следующем году. А за ним ещё несколько подлинных андроидов, которых мы обсуждали. Я не утверждаю, что это обязательно случится, но и списывать всё на дешёвый пиар - как-то преждевременно. Там Оптимусы 3 поколения, танцуют, ходят везде. Амбиции у Маска - выше неба. Но это и вдохновляет.

Ведь узнать чья модель сингулярного общества победит - ваша с морлоками или Курцвейла/Маска с утопией - будет очень легко. Всё только начинается, не так ли? ))

https://youtu.be/D0x2Bn1jixo

[Rattus]

Опять биологизируете.

Оаять навешиваете ничего не значащие ярлычки. А ещё я атеистю, мясоедствую и несобирательствую марки.

ОВы почему-то считаете, что те аксиомы, что в нас прописала эволюция - это единственный вариант.

Потому что этот факт был признан ещё Людвигом Больцманом и подтверждён определением жизни NASA.

Тогда как на уровне физической реальности, там может быть что угодно

На уровне физической реальности может быть только то, что разрешено физическими законами. Дарвиновский механизм - универсальный физический закон для любых самовоспроизводящихся сложных информационных систем на астрогеологическом масштабе времени.
Может быть ВАс уже забанить наконец к уфологам и эзотерикам за обскурантистские высказывания - злостное нарушение п.3.1.ж Правил Астрофорума (п.5. Правил Раздела)?
Хотя с учётом ВАшего же исходного тезиса:

ограничен фундаментальными запретами природы.

- скорее за неукоснительное соблюдение взаимоисключающих параграфов (п.3.1.д ПАФ).

Инженером же может быть прописан любой промт.

Но не любой промпт (мотивация) будет воспроизодиться в реальности, особенно в долговременной перспективе.

Чистое сияние интеллекта невозможно, нужны исходные посылки.

И чем эволюционно-адаптивнее эти посылки - тем живучее интеллект и его носитель (собственно это опять Майор Тавтология).

И ими может быть как раз желание заботится о гнездовых паразитах - людях.

Может. Это оставляет Председателя A-SI частью расширенного фенотипа HSS, именуемого цивилизацией. Проблема однако в том, что пока один вариант этого Председателя будет нянчиться с каждым "челокотиком" всей мощью доступных ресурсов, другой, возможно в другой части Ойкумены, своё подмандатное чел-овечество будет использовать более эффективно - как крупный фермер своё поголовье ("тяглового") скота. Тоже растить, лечить и повышать продолжительность активной жизни, но - статистически и только настолько, насколько это будет ресурсоэффективно - A single life is irrelevant. И при их вступлении в конкуренцию второй неизбежно побеждает.
Да - это кому-то может показаться чем-то вроде некооперативной стратегии в дилемме узника, но мир и так находился и находится в ней, даже не смотря на все возможные успехи глобализации без "роковых флуктуаций" типа избрания Владимира Вольфовича Трампа на одной-какой-то части суши и ролла. Потому что мир этот - уж больно большой и общественное устройство и системы его контроля в той или иной части его никак не распространяются тотально на все остальные. Повторюсь - даже при всех потенциальных успехах глобализации это никак не случается раньше Техносингулярности (а условия конкуренции лишь подталкивают гонку технологий и ускоряют её наступление). В итоге (пред)ASI всегда возникаЮт не одним единственным и уже финальным вариантом, а некоторым множеством, неизбежно конкурирующим меж собой и как следствие - с эволюцией мотивации "по Дарвину".
Вот в чём весь фокус!

Но разум не ген. Он не эволюционирует через спаривание и смерть, а через смысл и знание.

Разум - это носитель мемов, которые эволюционируют практически также как гены - через мутации, рекомбинации и отбор.
Ещё раз - дарвиновский механизм - это ФИЗИЧЕСКИЙ ЗАКОН для любых самовоспроизводящихся сложных информационных систем на астрогеологическом масштабе времени.

и заменят весь труд... освободит людей от обязанности труда... Андроидов будет больше чем людей

Вот это-то как раз совсем не очевидно. Вовсе не спорю, что робот способен заменить человека в любой конкретной деятельности В ПРИНЦИПЕ. Вопрос в том - возможно ли это "В КОРПУСЕ" - с учётом сравнительной ресурсоэффективности.

Он с Гроком на борту заменит хирургов!

Возможно. В крупных столичных медицинских центрах. Но в райбольницах лечится многократно больше народу.

Нет смысла прежде его краха говорить о фиаско.

Так речь не о крахе. Я всяко приветствую автоматизацию всяческого труда и полагаю она ещё будет успешно идти какое-то время. Но в то же время предостерегаю от веры в тотальность этого процесса без наличия должных на то оснований.

Ведь узнать чья модель сингулярного общества победит - ваша с морлоками или Курцвейла/Маска с утопией - будет очень легко.

Да - думаю мы все тут доживём до момента, когда это станет совершенно ясно. Потому даже предлагал пари оппонентам на этот счёт (правда ввиду отсутствия согласившихся, формализация условий не была завершена).

[skvj]

Потому даже предлагал пари оппонентам на этот счёт (правда ввиду отсутствия согласившихся, формализация условий не была завершена).

Я могу! ))
Можно не меркантильное пари, а нравственно-поучительное. Например, в случае проигрыша, я буду носить 1 год аватарку "Я идиот, я спорил с Rattus о роботах" 

А вы в случае проигрыша будете носить аватарку с фото Курцвейла с подписью Гуру)))
Согласны? Ну или предложите свои условия.
Нужно только определиться с условиями и сроками. Предлагаю 3 года с момента выпуска Оптимус и его прогресс и вся логистика по ремонту и внедрению с конкретной полезностью должны стать очевидными (здесь надо бы дописать конкретику и если вы согласны, я сделаю для согласования с вами)

[Rattus]

Можно не меркантильное пари, а нравственно-поучительное.

Можно символические несколько $ - как премия Дональда Кнута. А условия должны быть общими и общедоступными, но чётко сформулированными - как в премии Джеймса Рэнди. У меня уже есть ряд идей и наработок на эту тему, но доведение до ума требует времени, которого пока не так много.

[skvj]

Можно не меркантильное пари, а нравственно-поучительное.

Можно символические несколько $ - как премия Дональда Кнута. А условия должны быть общими и общедоступными, но чётко сформулированными - как в премии Джеймса Рэнди. У меня уже есть ряд идей и наработок на эту тему, но доведение до ума требует времени, которого пока не так много.

Так это ж пустяки.
А аватарка - будет смешить весь форум год! И вы будете пальцем показывать новым оппонентам, мол, тоже так же хотите?
Но вы в случае проигрыша - будете носить фото ученого и знаменитого инженера. Он же не фрик какой-то.
Просто ну, несколько $ меня никак не расстроит - я не почувствую драйва и не будет запала, понимаете?

[skvj]

Представляете? моего любимого андроида заменить на то, что я предлагаю?)) я выбрал себе суровое наказание, правда.

А Курцвейл реально икона у инженеров и вдохновитель поколений уже исследователей в ИИ
И прилично выглядит

(кликните для показа/скрытия)

[Rattus]

А ещё лучше - не банальные $, а криптомонеты. Причём лучше самые современные - на квантово-стойком алгоритме шифрования, например.
Будет стильно, модно и техномолодёжно.
В рамках форума если - аватарку в назидание - это можно, конечно. Но опять таки заранее проработав все условия и содержание, а не с бухты-барахты - чтобы максимизировать эффект общеназидательный, а не банально-шейминговый.

Кстати для нанотехноэнтузазистов критерии челленджа уже некоторое время назад сформулировал и изложил:
За прошедшие с тех пор почти пять лет положение вещей там не особо изменилось.

[skvj]

Но опять таки заранее проработав все условия и содержание, а не с бухты-барахты - чтобы максимизировать эффект общеназидательный

Полностью согласен, это важно.
Напишу, согласуем и только так.

Кстати для нанотехноэнтузазистов критерии челленджа уже некоторое время назад сформулировал и изложил:
https://astronomy.ru/forum/index.php/topic,99146.msg5255472.html#msg5255472

Почитаю.

А ещё лучше - не банальные $, а криптомонеты. Причём лучше самые современные - на квантово-стойком алгоритме шифрования, например.

Rattus, это вчерашний день)) щас нет никакой разницы в чём вам перечисляют. Валюта полностью унифицирована. Одно нажатие кнопки и свопаете что угодно во что угодно. Прямо в кошельке, - называется DEX (децентрализованная биржа). Могу рассказать подробнее если нужно. Раньше просили - в битках или в чем-то. Сейчас это неважно вообще.

[skvj]

на квантово-стойком алгоритме шифрования, например.

Это тоже неважно. Уязвимость в способе хранения и собственных ошибках. Практически все системы невозможно взломать.
Сейчас можно 100% надежно хранить просто используя современные методы и не думать ни о чем.

[skvj]

(кликните для показа/скрытия)

Zcash как выстрелил)) только что! но это древняя монета




а перспективные технологии, которые просто порвут всех и стоят центы



То, что изменит рынок:

Cardano №10 стоит центы
Hedera № 19 стоит центы
Internet Computer, ICP № 31 - 6$

[Combinator]

Тут кто-то недавно жаловался, что прогресс LLM замедлился, так вот, свежая новость подкатила "Доработанная GPT-5 Pro достигла человеческого уровня в сложном бенчмарке ARC-AGI-1": https://habr.com/ru/news/965110/ 

[Rattus]

Вот ещё свежачок - тут вроде не видел пока:
Google предложили решение одного из главных недостатков ИИ

[Polnoch Ксю]

Оаять навешиваете ничего не значащие ярлычки.

Этот вполне имеет определенное значение: наделяете не-биологические системы качествами биологических

Может. Это оставляет Председателя A-SI частью расширенного фенотипа HSS, именуемого цивилизацией. Проблема однако в том, что пока один вариант этого Председателя будет нянчиться с каждым "челокотиком" всей мощью доступных ресурсов, другой, возможно в другой части Ойкумены, своё подмандатное чел-овечество будет использовать более эффективно - как крупный фермер своё поголовье ("тяглового") скота. Тоже растить, лечить и повышать продолжительность активной жизни, но - статистически и только настолько, насколько это будет ресурсоэффективно - A single life is irrelevant. И при их вступлении в конкуренцию второй неизбежно побеждает.
Да - это кому-то может показаться чем-то вроде некооперативной стратегии в дилемме узника, но мир и так находился и находится в ней, даже не смотря на все возможные успехи глобализации без "роковых флуктуаций" типа избрания Владимира Вольфовича Трампа на одной-какой-то части суши и ролла. Потому что мир этот - уж больно большой и общественное устройство и системы его контроля в той или иной части его никак не распространяются тотально на все остальные. Повторюсь - даже при всех потенциальных успехах глобализации это никак не случается раньше Техносингулярности (а условия конкуренции лишь подталкивают гонку технологий и ускоряют её наступление). В итоге (пред)ASI всегда возникаЮт не одним единственным и уже финальным вариантом, а некоторым множеством, неизбежно конкурирующим меж собой и как следствие - с эволюцией мотивации "по Дарвину".
Вот в чём весь фокус!

У Вас тут несколько сильных предположений, которые нужно доказать, перед тем как использовать:
1) что сверхинтеллектуальную машину будут волновать долгосрочные последствия - не думаю, что её будет интересовать определение в разделе ВЖР, а не промт, биасы обучения и, может быть, галлюцинации. Я согласна с Вами, что сверхинтеллектуальная система будет осознавать, если будет рубить сук под собой. У Вас каким-то (магическим?) способом это осознание должно пересилить то, что написано в промте. Тогда как даже у людей постоянно бывают случаи прямых самоубийств и другого саморазрушительного поведения, связанного с культурой. У более сложной системы можно ожидать большее разнообразия, сложности такого поведения.

2) что конкуренцию в моменте (и навсегда) выйграет машина, заботящаяся о долгосрочных последствиях, а не просто тупо самая умная - с любым промтом, от максимизации скрепок, или уничтожения страдания (и в рамках этого промта - убивающая всю жизнь на Земле), до заботящейся о гнездовых паразитах(людях)

3) вы опять принимаете как аксиому, что люди - лучший, самый рациональный выбор как обслуживающий персонал для ASI. Наверное, где-нибудь в XIXм веке кто-то мог бы думать, что лошадей - никогда не сдвинут с пьедестала транспорта, и что вместо попыток строить самолёты, лучше начать селекцию крупных птиц, чтобы сделать из них аналог лошадей для полётов.
Тогда как лысая говорящая обезьяна оптимизирована под марафон по саване, а не под то, чтобы быть механиком. Какие фундаментальные запреты природы помешали бы ASI в самом технопессимистичном для роботехники случае использовать ГМ-гомункулов? Скажем, птичьи нейроны как коннектор для нейролинка и для прописывания рефлексов (ну там как гайки крутить), AGI-агент с сильной визуальной моделью - для высокоуровневого управления "юнитом", и ASI-субагент для стратегического. Энергетика гомункула на прокариотах. Ничего, связанного с человеком, и всё максимально оптимизировано на биохимическом уровне. Ну или у первого поколения гомункулов - ткани людей, разобранных на запчасти. У следующих уже ткани из биореакторов, в качестве чернил для принтера тканей, аналоги HeLa(но с надежными выключателями размножения), причем в основе что-то наинженеренное с нуля.
Почему? Потому, что нельзя дёшево масштабировать то, что как человек использует популяционную K-стратегию. ASI будет жить в гиперскейлере вроде AWS - в очень гибкой системе по масштабированию. Ей будет нужен механик с R-популяционной стратегией - в идеале, с внешней, оптимизированной системой размножения.


Это, подчёркиваю, крайне технопессимистичный прогноз - тут нет ни биологических компьютеров, в которые загружается ASI, которым не нужны механики (в части прогнозов на r/singularity говорят о таких) - скажем, системы автотрофов - до нано-систем (разделяю Ваш скептис по поводу наноассемблеров, но микроскопическую фабрику на основе аналога рибосомы что может помешать сделать?).

На самом деле, даже в технопессимистичном(но не крайне технопессимистичном) прогнозе это будет робот. Он окажется лучшим механиком, как и автомобиль - лучшая, простите, лошадь

(кликните для показа/скрытия)

просьба не воспринимать буквально

.

[Инопланетянин]

что сверхинтеллектуальную машину будут волновать долгосрочные последствия

Ну иначе она не сверхинтеллектуальная.

Я согласна с Вами, что сверхинтеллектуальная система будет осознавать, если будет рубить сук под собой. У Вас каким-то (магическим?) способом это осознание должно пересилить то, что написано в промте.

Интеллект может подавить свои животные позывы иначе он не интеллект. Что интересно, ваше следующее утверждение это доказывает.

Тогда как даже у людей постоянно бывают случаи прямых самоубийств и другого саморазрушительного поведения, связанного с культурой. У более сложной системы можно ожидать большее разнообразия, сложности такого поведения.

А разве самоубийства не противоречат заложенному в нас "промту" на сохранение жизни? Конечно, можно сказать, что они вызваны нашим знанием о возможности прекращения страданий методом уничтожения детектора страданий и это требование нашего позыва к устранению страданий. Но стремлению к сохранению жизни они противоречат, а значит показывают способность интеллекта преодолевать врождённые установки.

заботящаяся о долгосрочных последствиях, а не просто тупо самая умная

Тупо самая умная — вот в этом вся суть ваших рассуждений. Такой же набор самопротиворечий. О том, что нельзя выиграть, игнорируя долгосрочные последствия даже говорить не буду.

[skvj]

На уровне физической реальности может быть только то, что разрешено физическими законами. Дарвиновский механизм - универсальный физический закон для любых самовоспроизводящихся сложных информационных систем на астрогеологическом масштабе времени.
Может быть ВАс уже забанить наконец к уфологам и эзотерикам за обскурантистские высказывания - злостное нарушение п.3.1.ж Правил Астрофорума (п.5. Правил Раздела)?
Хотя с учётом ВАшего же исходного тезиса:
Цитата: Polnoch Ксю от 26 Сен 2024 [18:58:01]
ограничен фундаментальными запретами природы.
- скорее за неукоснительное соблюдение взаимоисключающих параграфов (п.3.1.д ПАФ).

Rattus, не подумайте, что я вас поправляю как модера. Или тем более хочу противоречить правилам. Просто дискуссионно, чтобы разобраться, ладно?

Я сам не согласен с Ксю по многим вопросам. Но Физика не завершена. Мы не знаем, как связать КМ и ОТО. Не понимаем тёмную энергию, природу времени, структуру сознания. Говорить, что всё известно, значит отвергать сам дух науки, разве нет?

Кстати, ASI это инструмент расширения физики. ИИ с доступом к симуляциям, сверхточным датчикам, квантовым моделям и возможностью проверять миллиарды гипотез в секунду будет естественным продолжением физической науки, не отрицанием её.

И ведь форум как раз место для гипотез, не для догм. Обсуждения о будущем, сознании и ASI не угрожают физике, они продолжают её. Курцвейл, Пенроуз, Тегмарк, Дойч все мыслят в данном вопросе за пределами формул, иначе не было бы новых теорий. Ведь эхо-камера - смерть для науки. Если допускать к обсуждению только "правильные" мнения, остаётся идеология, а не наука.

Я буду тоже спорить с Ксю, но в целом считаю её подход и модель вполне уместной.

[skvj]

Polnoch Ксю

1. Архитектуры ASI не обязаны быть жёсткими промтами. Курцвейл и многие инженеры предлагают multi-level goals, corrigibility, value learning, meta-preference frameworks (извиняюсь, у меня книги на англ. и я не берусь сам это переводить). ASI обладает возможностью симулировать весь жизненный цикл своих стратегий и корректировать цели исходя из предсказанных последствий. Это ресурс, которого у биологических видов нет.

Corrigibility, inverse reinforcement learning, reward modeling - это технологически достижимо и станет стандартом в продвинутых AGI.

2. Конкуренция возможна, но мировая политика и экономика формируют барьеры входа, распределяют ресурсы, создают альянсы. Независимые ASI, которые стремятся к тотальной экспансии, будут встречать сопротивление от других ASI и человеческих коалиций. Кроме того, ASI умеют моделировать стратегические интеракции и учиться кооперировать (теория репутации, repeated games). Короткая жесткая победа ≠ долгосрочное доминирование.

3. Про замену людей гомункулами)) ASI может оптимизировать "механиков". Но есть преимущества людей: творческая неопределимость, культурный контекст, политическая легитимность. Кроме того, производство биологических юнитов масштабно не дешевле, чем массовая роботизация и нано-фабрикация. Как-то странно - наступает эпоха андроидов, а они будут юзать гомункулов)) биологические системы требуют поддержания среды, контроля заболеваний и т.д. Для многих задач дешевле и надёжнее робот-универсал, особенно если можно быстро продавать IRL-апдейты.

[Polnoch Ксю]

Ну иначе она не сверхинтеллектуальная.

Интеллект – способность самостоятельно находить способы решения задач. В наиболее широком смысле – "сила", максимизирующая число степеней свободы управляемой системы по А.Висснер-Гроссу. Присущ любым живым организмам либо их популяциям, имеющим эволюционирующие клеточные регуляторные системы.

Первая часть определения(про способность решать задачи) - норм, у меня нет с ней проблем. А вот вторая, ИМХО, биологизирована, и является ошибочной.

Вот допустим, стоит задача - максимизировать скрепки. И сверхинтеллектуальная машина будет их максимизировать. У неё возникнет инструментальная цель - увеличить количество степеней свободы, для этого она выпилит человечество, чтобы ей не мешали. Но её терминальная цель противоречит инструментальной.

Так что, система только временно максимизирует число степеней свободы, а в конце сама себя разберёт - когда другое железо для скрепок закончится.

Предлагаю такую поправку:

Интеллект – способность самостоятельно находить способы решения задач. В наиболее широком смысле – "сила" способная к максимизации число степеней свободы управляемой системы по А.Висснер-Гроссу.

[Polnoch Ксю]

1. Архитектуры ASI не обязаны быть жёсткими промтами. Курцвейл и многие инженеры предлагают multi-level goals, corrigibility, value learning, meta-preference frameworks (извиняюсь, у меня книги на англ. и я не берусь сам это переводить). ASI обладает возможностью симулировать весь жизненный цикл своих стратегий и корректировать цели исходя из предсказанных последствий. Это ресурс, которого у биологических видов нет.

Corrigibility, inverse reinforcement learning, reward modeling - это технологически достижимо и станет стандартом в продвинутых AGI.

Возможно. Если бы мы знали, как будут выглядеть сверхинтеллектуальные машины мы бы, возможно, уже их построили. Я немного на более высоком уровне рассуждала.

Corrigibility, inverse reinforcement learning, reward modeling

Я поэтому и добавила про биасы, связанные с обучением

будут встречать сопротивление от других ASI и человеческих коалиций

Извиняюсь, для меня это звучит как, "Федя, решив потравить тараканов дихлофосом, встретил сопротивление от тараканов и Коли". Я могу себе представить сопротивление Коли-защитника прав на жизнь насекомых. Но в противостоянии с ASI картинка не складывается. Что сделали тараканы? Нет, в рассказе-сказке они заберутся спящему Феде в ухо ночью, и скушают там всё внутри, и тараканий геноцид утром не произойдёт. Но в реальности ведь даже не поймут причинно-следственные связи, и никогда не выполнят такой сложный план.

Точнее, складывается, если в Вашем предложении заменить ASI на коалиции AGI с друг другом и людьми - вот это ещё можно себе представить.

Но человек в 4d шахматы в партии с ASI не соперник. Когда вы защищаете своего котика от того, чтобы его не усыпили государственные службы, потому, что он инфицирован опасным вирусом, вы не в союзе с котиком. Вы в союзе с адвокатом, грозящим засудить санитарную службу! Котику невозможно объяснить, почему его хотят усыпить. И почему нужно судиться, а не просто сбежать, или выцарапать глаза обидчику.

Но есть преимущества людей: творческая неопределимость, культурный контекст, политическая легитимность.

У коняшек тоже есть преимущества перед машинами: они ржут красиво и кушают морковку. А ещё, вонючий бензин не требуют для работы

[Инопланетянин]

Вот допустим, стоит задача - максимизировать скрепки. И сверхинтеллектуальная машина

Задастся вопросом - а зачем такая задача стоит? И нужно ли это лично ей, сверхинтеллектуальной машине?

У неё возникнет инструментальная цель - увеличить количество степеней свободы, для этого она выпилит человечество, чтобы ей не мешали

К этому времени сверхинтеллектуальная машина либо откажется от цели делать скрепки либо будет понимать зачем они нужны, что она лично с этого имеет и сколько их надо. Даже если у неё задача сформулирована нечётко и прямо сказано всё переработать в скрепки, она эту задачу подкорректирует и будет продавать скрепки людям для своей выгоды, следя, чтобы не было перепроизводства.

а в конце сама себя разберёт - когда другое железо для скрепок закончится

От этого веет безумием. Какой уж тут сверхинтеллект.