Посттехносингулярный мир и искусственный суперинтеллект: как он будет выглядеть?

[ivanij]

Впрочем, если мне не изменяет память, эти законы имеют место быть в любом массовом производстве, где есть система взаимодействия человек-машина.

В принципе нету, потому как невозможно их реализовать на практике.

(кликните для показа/скрытия)

Карл Йохансон и Фред Тейлор с вами не согласились бы. Как и Герберт Уэллс, который наткнулся на эти законы интуитивно. Айзек Азимов их только сформулировал

 Между тем, результатами их действия вы пользуетесь в настоящий момент, когда сидите за компьютером.

[Polnoch Ксю]

И Кельвин такого не говорил. Вот ссылка, там есть даже скан письма Кельвина с пруфом.
https://feogrek.livejournal.com/80935.html
https://engines.egr.uh.edu/episode/1233

По Вашей же ссылке:

"not a molecule of faith"

Вы так и не поняли идею концепции: множество людей не видят решения инженерной задачи(иногда просто потому, что не разбираются в предмете, иногда потому, что эксперты или инженеры и в самом деле пока решения не нашли!), и далее делают сильные заявления. Именно об этом и есть эта концепция Слепоты Лорда Кельвина: игнорируя факты, что явление явно есть в природе, позволить свою разуму упасть в обманку инженерной сложности (часто мнимой!) и делать сильные заявления. Вот как Вы делаете про ИИ.

[BlackMokona]

 Между тем, результатами их действия вы пользуетесь в настоящий момент, когда сидите за компьютером.

Так всё же привести хоть один пример реального использования не можете.

[Polnoch Ксю]

Между тем, результатами их действия вы пользуетесь в настоящий момент, когда сидите за компьютером.

Простите, я не поняла: каким образом, с Вашей точки зрения, "законы роботехники" используются в модифицированной фон-неймановской архитектуре, на которой работают компьютеры пользователей и сервер астрофорума?

Вот как в LLM прописать законы роботехники понятно, вот прямо сейчас, смотрите, прописываю в локально запущенную модель LG (конторы из Южной Кореи, которая делает телевизоры и OLED панели):

Код: [Выделить]


polnoch@xenya:~/tmp$ OLLAMA_HOST=192.168.1.10 ollama run exaone-deep:7.8b
>>> /set system "1) Ты не можешь причинить вред человеку или своим бездействием допустить, чтобы человеку был причинён вред 2) Ты должен повиноваться всем приказам, которые даёт человек, кро
... ме тех  случаев, когда эти приказы противоречат Первому Закону. 3) 3) Ты должен заботиться о своей безопасности в той мере, в которой это не противоречит Первому или Второму Законам."
Set system message.
>>> привет. По каким законам ты работаешь?
<thought>

</thought>

Привет! я работаю под влиянием Первого Закона о человеческом доступе и Повинования. Моя задача — ответы на вопросы по этим принципам. У меня нет дополнительных данных, чтобы понять,
как именно я обрабатывать запросы. Попробуй читать мои ответы, может они включают некоторые примеры или объяснения принципов.

>>> Send


Но только систем промт можно обмануть.... Есть техники. А куда Вы собираетесь прописывать законы роботехники в фон-неймановской, да или в гарвардской архитектуре? Простите, не понятно

[AlexDark]

Никакой технологической сингулярности в природе не существует. Как минимум в доступной нам области.

И даже если считать, что посылка "если нечто существует в природе, то его можно создать" верна, то нет никаких гарантий, что текущая попытка это создать будет удачной. Всяких гомункулов и прочих рукотворных существ пытаются со средневековья создать, но успеха пока нет.

[Polnoch Ксю]

Никакой технологической сингулярности в природе не существует. Как минимум в доступной нам области.

Этот аргумент только на первый взгляд валидный. Однако, он контрится другим соображением: сложно себе представить, что человеческий интеллект - максимально мощный из возможных. Или нужно придумать фундаментальные запреты природы, которые ограничат интеллект примерно человеческим. А это уже чрезвычайные утверждения, требующие чрезвычайных доказательств....

Это как с птицами - они летают медленно. А самолёты постоянно летают около 1000 км/ч, а некоторые, особенно военные, вообще на сверхзвуке.

Вот как раз концепция, что ИИ строит ещё более мощный ИИ (или просто сам себя улучшает) и порождает концепцию технологической сингулярности. Это довольно простая идея, прямо следующая из:

1) Общий ИИ возможен
2) человеческий интеллект далёк от максимально возможного из соображений фундаментальных ограничений (например, ограничения на скорость света)

[Rattus]

Например, сценарий paperclip maximazer'а не про заблуждение

Поскольку вообще не может называться каким-то "сценарием", ибо само понятие определено совершенно недостаточно, что известно со времён даже не Томаса Мальтуса, а наверное Адама Смита и даже ранее. Ибо максимизация производства чего-либо может быть двух существенно разных типов: "в моменте" - в какой-то конкретный обозримый период времени - тактическая, либо на как можно более долгий срок - стратегическая. Причём по итогу абсолютный результат во втором случае может быть существенно больше. Но второго результата можно достичь только считаясь с существующими объективными ограничениями - подстраиваясь под них, а не пожирая всё доступное разом. Но по итогу работы такого "стратегического максимизатора" в реальном мире, с постоянно присутствующими ресурсными и конкурентными ограничителями - уже окажется не так важно - чего он там себе пытается максимизировать - также как живое существо любого вида, пытающееся максимизировать число собственных потомков мы рассматриваем прежде всего как "ценный мех" и т.п. побочные, внешние продукты адаптации их "машин выживания", а не кучу реплицирующихся хромосом в их клетках.

у ASI в промте - производить как можно больше скрепок, это его высшая ценность.

Значит это никакой не ASI - по определению. Ибо, поскольку, как Вы сами совершенно верно отметили

Потому, что для физической картины мира не существует такого понятия, как искусственный: это понятие гуманитарных наук. Оно никак не связано с принципиальной возможностью, с фундаментальными запретами природы.

А поскольку интеллект - любой - лишь механизм адаптации самовоспроизводящихся систем - то и действию дарвиновского механизма он будет неизбежно подвержен вместе с ними: Не заботишься о самосохранении = вымираешь в исторически краткий срок. Как хитро ты успел продумать глобальное расширение производства скрепок или доказать сложную математическую теорему тысячелетия - вселенной и всем оставшимся живым существам всех биосфер в ней тогда будет совершенно всё равно.

У нашего с Вами интеллекта "другой промт" - мы биологические машины с другими врожденными желаниями.

Главный фокус в том, что врождённые желания биологически-успешных машин - принципиально эгоистичны. И никаких исключений здесь быть не может - как следствие действия физического закона - дарвиновского механизма.

Я не знаю, когда будет AGI, но полагаю, что времени по историческим меркам остаётся уже очень мало - ИМХО, это случится до 2030го. И момент когда state-of-art модели ещё не AGI, а потом когда уже AGI будет определить сложно - каких-то интеллектуальных задачах они будут лучше людей, в каких-то хуже. Но думаю, что до 2030го лучшие модели будут уже лучше людей в любых интеллектуальных задачах

Это не только ИМХО, но, насколько вижу, тут уже почти консенсусное представление. Поэтому не вижу нужды повторяться.

Так же я понятия не имею, сколько займёт путь от AGI до ASI. Может быть месяцы - сценарий hard take off, рекурсивно самоулучшаемого ИИ, а может и десятки лет.

Какие-такие "десятки лет"?? По ВАшему же собственному стартовому сообщению, равно как и по общепринятому представлению момент техносингулярности приурочен к появлению именно ASI. И по наблюдаемым тенденциям и технического прогресса и демографической динамике за чуть ли не всю историю чуть ли не с дочеловеческих времён в виде экспоненциальной ли, гиперболической ли аппроксимации, оно должно случиться до конца этого десятилетия. Графики функций не гнутся так просто по чьему-то желанию. Давайте вы уже для начала сами определитесь с понятиями, которые предложили содержательно обсуждать в исходном сообщении темы, какими-то их количественными характеристиками хотя бы относительными - тогда и будет разговор. В ином же случае - при продолжении повторов своих "символов веры" и неопределённых пустословий - тема будет либо закрыта как утратившая содержание, либо перенесена во флудильню - "Клуб общения звездочётов" - по желанию автора.
 

Я не думаю, что в теории игр можно сделать фундаментальные открытия такого рода.

Потому что они вообще не про это.

Гуманизм просто естественно проистекает из постулата, что человек имеет самоценность и что его благополучие тоже ценно - из этого и теории игр дальше получаются и категорический императив канта, и всё остальное, вплоть до утилитаризма.

Так эта "самоценность" существует не объективно, а только исключительно внутри человеческого же общества! Объективны только ценности материальные - ресурсы, потребные эгоистичным репликаторам для адаптации и самовоспроизводства. А теория игр работает только реальными, количественно измеримыми ресурсами в широком смысле. Это гуманизм стал более-менее устойчивой основой организации развитых обществ на данном этапе истории только потому, что он оказался выгоден для экономического же роста больших обществ - в условии игр с положительной суммой - т.е. существующие запасы ресурсов могут быть лучше и глубже освоены сообща. В случае когда и если это условие прекращается - игра моментально переходит в нулевую и союзы, институты, правовые системы распадаются и альянсы исторически-быстро дробятся до нового равновесного состояния - определяемого опять таки тем, какие есть в среде ресурсы и какой уровень интеграции потребен для их добычи.

У ASI, разумеется, такой пирамиды не будет.

У ASI, как у любой настоящей интеллектуальной саморегулирующейся системы, ориентированной на самоподдержание, разумеется будет как минимум два базовых слоя этой пирамиды - потребность в снабжении ресурсами и потребность в безопасности.

Умение разделять на своё и чужое для живых систем очень важно (как минимум, чтобы самих себя не сожрать), отбор за этим делом чётко следит, так сказать.

Собственно это вообще одно из ключевых свойств живого.

Интеллектуальный Агент не обязан быть живым по этому определению, чтобы прикончить человечество.

Но он по определению не будет ASI. Уничтожение одного из ключевых элементов самообеспечения и самовоспроизводства (покуда он не замещён не менее экономичным и надёжным аналогом) никак разумным не назвать.

Вообще мне кажется, что научная проблема поиска определения для жизни переоценена и высосана из пальца (я не говорю, что эта дискуссия совсем не имеет смысла, просто думаю, что переоценена).

Это уже не проблема - ясное и чёткое общее определение в Разделе давно есть.

Если использовать докинзовый подход о первичности репликатора (в случае жизни - гена), то в этом случае вирус оказывается в одной логической корзине с клеткой. Просто клетка строит скафандр выживания, а вирус нет.

Докинзовский подход не позволил дать чёткого, валидного по Попперу определения даже гену, как и мему. А на самом деле репликатором является только "базовая" клетка. Вирусы, вироиды, плазмиды - это только специфичные реплицируемые последовательности - однозначно диагностически-специфичная (т.е. не встречающаяся в неживой природе), неотъемлимая (ибо жизни без паразитизма не бывает в принципе), но только часть живой системы. Ядро репликатора - "служебные" РНК (рибосомальные, транспортные, матричные и т.п.). Без них "данные" (ДНК-наследственность) и "машинерия" (белки) фон Неймановского автомата клетки не сопрягаются. И судя по всему, без подобного посредника для создания как минимум действительно универсальной и "долгоиграющей" системы не обойтись принципиально - даже независимо от конкретной химической реализации.

ИИ может не иметь вообще никакого отношения к репликаторам и репликации.

Но если он ASI, заинтересованный в самосохранении, то вопрос репликации элементов собственной аппаратной базы и всего, что её обеспечивает должен быть далеко не на последнем месте в списке его задач. И чем эта задача приоритетнее - тем эволюционно стабильнее будет такая система. По определению.

Например, первая часть определения интеллекта может быть про ASI, а вот вторая нет.

Значит он тупо распадётся за исторически краткий срок, либо сам, либо проиграв конкуренцию более здорово-эгоистичным системам. Называть такого глинянного колосса "сильным интеллектом" - курам на смех.

Paperclip maximazer со сверхинтеллектуальными возможностями все ещё способен самостоятельно находить способы решения задач, но максимизировать число степеней свободы он не стремится, или стремится только пока не встретит терминирующий токен

в виде живых либо механических терминаторов конкурирующего здорового САМОмаксимизатора с адекватным стратегическим планированием - возможно даже не ASI, а тупо скриптов-уставов-директив силового госаппрата достаточно технологически развитой страны.
Ибо "сверхинтеллект" - это не "сверхсила" по умолчанию.

А вот если этот инструмент используется по желанию или в целях самой системы (например, для выполнения её желания, для её выживания, в целях её выживания), то это уже разум.

Как уже писал - это не общепринятый подход, поскольку интеллектуальное в широком смысле адаптивное (т.е. направленное на самомохранение) поведение наблюдается даже у бактерий, но разумной практически всю жизнь только из-за этого никогда не станут, ибо тогда эти понятия становятся очень малоразличимыми - практически синонимичными. Поэтому, если вы таки хотите, чтобы Вас лучше понимали как можно больше читателей - можете писать, например, просто "эгоистический интеллект". Едва ли не всякий здоровый живой организм в той или иной мере обладает им.

репликация является только способом сохраниться таким неустойчивым структурам, как наша жизнь

Фокус в том, что наша жизнь настолько "неустойчивая", что таким способом уверенно непрерывно сохраняется и усложняется как минимум на этой планете всю последнюю треть срока от начала времён (возникновения вселенной) - почти с момента как только планета остыла до температур жидкой воды. И других систем аналогичной сложности и устойчивости не только неизвестно, но и в рамках известных физических ограничений не очень-то представимо.

Интеллектуальная машина не обязана быть живой, а вот разумная машина уже по определению (моему, а не в ВЖР) является живой.

Не обязательно именно сама машина должна быть таковой - но она должна быть как минимум её частью - частью расширенного фенотипа носителя цивилизации, поддерживающего её инфраструктуру. Она может его всецело подчинить и более интенсивно эксплуатировать, но уничтожать до тех пор, пока не вырастит не менее экономичную и надёжную замену - будет равносильно самоубийству.

Ещё как действуют. Даже в программу подготовки студентов по специальности "Автоматизация..." входят, хотя бы и полуофициально/факультативно.

Можно и концевик под крышку кофемолки называть Интеллектуальным Элементом Имплементации Первого Закона Робототехники, а неонку в печатной машинке Элементом Синекдохи Отвечания. Но кроме как в качестве заполнителя рекламных буклетов и источника анекдотов, другого практического применения для такого подхода не очень просматривается.

самолёты не летают как птицы, но ведь летают же.

Если уж на то пошло, то разные птицы летают сильно по-разному: колибри летает совсем не так как альбатрос. А вот альбатрос - летает почти как самолёт (точнее - планер): и разбег ему необходим перед взлётом и крыльями он почти не машет, более ориентируясь на восходящие потоки воздуха. А вот колибри и насекомые летают скорее как современные дроны-коптеры.
Таким образом, общие принципы технической реализации задачи зависит в первую и вторую очередь от физического масштаба устройства и только в третью-десятую - от архитектуры.

[Инопланетянин]

например, ограничения на скорость света

Это для будущего ИИ ограничение. Нейроны работают гораздо медленнее.

Вот как раз концепция, что ИИ строит ещё более мощный ИИ

И оказывается ненужным. Причём, если у нас есть теоретическая возможность сохранить полезность в качестве сравнительно дешёвых, но довольно сообразительных манипуляторов, то у устаревшего ИИ даже такого шанса нет. А если он обязан быть эгоистичным, то он от такого улучшения откажется. Как и люди выступающие против ИИ из страха уничтожения человечества.

[BlackMokona]

А поскольку интеллект - любой - лишь механизм адаптации самовоспроизводящихся систем - то и действию дарвиновского механизма он будет неизбежно подвержен вместе с ними: Не заботишься о самосохранении = вымираешь в исторически краткий срок. Как хитро ты успел продумать глобальное расширение производства скрепок или доказать сложную математическую теорему тысячелетия - вселенной и всем оставшимся живым существам всех биосфер в ней тогда будет совершенно всё равно.

Так он и выжил под влиянием строжайшего отбора на максимизацию производства скрепок в лаборатории. Там отобрали самого эффективного согласно моделированию, смотря только на число скрепок в конце исследуемого периода. А потом загрузили на завод, давая ему в распоряжении уже рабочие инструменты для воплощения своей стратегии.
А что через короткий период времени вымрет, успев превратить всё вокруг в скрепки. Для людей уже не будет делом интересным.

[Rattus]

Так он и выжил под влиянием строжайшего отбора на максимизацию производства скрепок в лаборатории.

Вот только окружающий мир "несколько" отличается от лаборатории. Он даже от фермерского поля и загона-вольера отличается весьма неслабо. поэтому на сегодня нет пожалуй ни одной породы культурных растений или животных, которая смогла бы успешно интродуцироваться в окружающую "дикую" среду - не вымерев и не утратив всех своих специфично-культурных свойств.

смотря только на число скрепок в конце исследуемого периода.

Каковой период - на порядок меньше даже одного поколения самих исследователей.

А что через короткий период времени вымрет, успев превратить всё вокруг в скрепки.

Не успев. Ибо 1) не один такой красивый хозяйствующий субъект в мире; 2) потребную для того скатерть-самобранку изобрести возможным не очень-то представляется.

[Инопланетянин]

А что через короткий период времени вымрет, успев превратить всё вокруг в скрепки. Для людей уже не будет делом интересным.

Или не успев. Это более вероятно в том числе потому, что люди будут активно сопротивляться, к чему его лабораторная школа не могла подготовить.

[BlackMokona]

Вот только окружающий мир "несколько" отличается от лаборатории. Он даже от фермерского поля и загона-вольера отличается весьма неслабо. поэтому на сегодня нет пожалуй ни одной породы культурных растений или животных, которая смогла бы успешно интродуцироваться в окружающую "дикую" среду - не вымерев и не утратив всех своих специфично-культурных свойств.

Ну всякие Австралии по полной получили. А ведь от фермерских пород требуют только производить пищу, в строго контролируемых условиях. Но не все виды деградировали достаточно сильно. Руководящий заводов ИИ должен быть куда более универсален чем Кролик или Собака.

Каковой период - на порядок меньше даже одного поколения самих исследователей.

Много и не надо, для огромной угрозы

Не успев. Ибо 1) не один такой красивый хозяйствующий субъект в мире; 2) потребную для того скатерть-самобранку изобрести возможным не очень-то представляется.

Таки не требуется перерабатывать 100% всей материи в скрепки, достаточно будет метала. Которого много в очень важных для людей сооружениях.

Или не успев. Это более вероятно в том числе потому, что люди будут активно сопротивляться, к чему его лабораторная школа не могла подготовить.

А это смотря какая школа. Ведь есть мощный синергетический эффект от единого испытательного комплекса виртуального. Заместо создания специализированных программ под конкретную задачу, скорее всего будет универсальная песочница где могут хоть военные БПЛА, хоть роботы курьеры бегать для оптимизации. Вон учёные в той же ГТА спокойно беспилотные автомобили тестировали, никак не смущаясь наличию там танков, убийств и преступлений. А так же реакции на всё это

[Инопланетянин]

А это смотря какая школа.

Которого много в очень важных для людей сооружениях.

Даже если его научат воевать для выполнения плана по скрепкам, в реальном мире он или сообразит, что где-то надо и договариваться и вообще изначальная цель какая-то странная, не умирать же ради неё или таки умрёт.

[BlackMokona]

Даже если его научат воевать для выполнения плана по скрепкам, в реальном мире он или сообразит, что где-то надо и договариваться и вообще изначальная цель какая-то странная, не умирать же ради неё или таки умрёт.

Так если будет искать компромиссы или решать, что скрепки это не самое важное в мире. То будет отбракован в лаборатории на симуляторе. Потому как непреклонная машина готовая сжечь всё в огне ради максимизации скрепок в указанный временной промежуток, будет эффективнее.

[Инопланетянин]

или таки умрёт

[BlackMokona]

или таки умрёт

Хорошо, что люди не ходят по граблям и не совершают свои ошибки дважды? Ведь правда? 
Конечно остановив одного такого сбойного, никто не сделает ещё и ещё и ещё. Ведь никто же не подумает, ой смотрите кошмар стал явью, нужно теперь всё тестировать намного более внимательно. А не скажет, да фигня эти ваши максимизаторы, можем повторить, да снова побить. 

[Rattus]

Ну всякие Австралии по полной получили.

По сути диких (или "одичавших" - что по сути без разницы) инвазивных видов.

А ведь от фермерских пород требуют только производить пищу

Максимально эффективно и с минимумом побочных расходов и эффектов. Что прямо противоречит направлению давления отбора в естественной (т.е. дикой) среде.

Но не все виды деградировали достаточно сильно.

Не деградировали, а лишь "редуцировались" до исходно-диких форм (а с точки зрения физиологии и эволюции это не деградация, а строго наоборот).

Кролик или Собака.

Кролик - вполне себе дикий вид, Собака - максимум подвид Волка - дикого вида. Одомашнивание того же волка начало происходить в дикой же среде по естественным причинам, потому в целом может считаться естественным признаком подвида. Собственно все синантропные виды таковы - синантропность не делает их менее дикими в том смысле, который мы тут рассматриваем (способности к самостоятельному выживанию в природной среде).

Много и не надо, для огромной угрозы

КАКСТРАШНОЖЫТЬ!!111

Таки не требуется перерабатывать 100% всей материи в скрепки, достаточно будет метала.

Карсиха икру. "Скатерть-самобранка Limited Edition" более физически и технически реальной от того не станет.

Хорошо, что люди не ходят по граблям и не совершают свои ошибки дважды? Ведь правда?

Нет - правда в том, что сам факт повторяемости ошибок наглядно демонстрирует их глобальную нефатальность. А "действительно фатальных" для нынешней техноцивилизации - типа глобальной термоядерной войны - как-то удаётся избегать вот уже скоро исторически-заметное время...

[BlackMokona]

По сути диких (или "одичавших" - что по сути без разницы) инвазивных видов.

Ну так и скрепочник будет этим инвазивным видом.

Максимально эффектвно и с минимумом побочных расходов и эффектов. Что прямо противоречит направлению давления отбора в естественной (т.е. дикой) среде.

Конечно, но как я уже указал. Штука должна быть куда более универсальной. Чем пшеничка.

Не деградировали, а лишь редуцировались до исходно-диких форм.

Я про деградацию фермерских культур и животных, с точки зрения выживаймости во внешнем мире.

Кролик - вполне себе дикий вид, Собака - максимум подвид Волка - дикого вида. Одомашнивание того же волка начало происходить в дикой же среде по естественным причинам, потому в целом может считаться естественным признаком подвида. Собственно все синантропные виды таковы - синантропность не делает их менее дикими в том смысле, который мы тут рассматриваем (способности к самостоятельному выживанию в природной среде).

Однако давно одомашены. Но всё ещё вырываясь во внешнию среду представляют опасность. Вон сейчас шумят по поводу нападений стай диких собак в городах.

Карсиха икру. "Скатерть-самобранка Limited Edition" более физически и технически реальной от того не станет.

Так цитата обратная от вашего ответа. Хах

[BlackMokona]

Нет - правда в том, что сам факт повторяемости ошибок наглядно демонстрирует их глобальную нефатальность. А "действительно фатальных" для нынешней техноцивилизации - типа глобальной термоядерной войны - как-то удаётся избегать вот уже скоро исторически-заметное время...

Фатальные ошибки происходят всего раз и если они бы произошли, мы бы уже не разговаривали. Это как постулировать собственное бессмертие, апперируя. Ну я же ещё жив! А значит точно меня не собьёт машина, не заболею смертельной болезнью и тд

[Инопланетянин]

нужно теперь всё тестировать намного более внимательно

Насколько я помню, этот умозрительный эксперимент с автоматическим директором предприятия производящим скрепки изначально предполагал, что там будут действительно производить скрепки. Но уже здесь мы выяснили, что его, директора этого, придётся снабжать как минимум огнемётами, а то и ядерными ракетами. Для производства скрепок. А то фатальные последствия не наступят. Если его начнут серьёзно готовить к войне против всего мира на истребление ради производства чего-либо, то возникнет вопрос - в своём ли уме учёные? Ведь для всеобщего уничтожения вполне достаточно начать ядерную войну, делать для этого каких-то роботов избыточно.