Посттехносингулярный мир и искусственный суперинтеллект: как он будет выглядеть?

[Polnoch Ксю]

Да они больны ФГМ в терминальной стадии, как и большая часть современной "прогрессивной культурной элиты".

Как это можно фальсифицировать? Какие есть аргументы в эту пользу? Если кто-то приведёт в пример Ziz и историю с убийством - это как раз случай, когда человек, ИМХО, даже в 0.1% перцентиле худших людей сообщества не находится - просто псих. Те, кто делают вывод по этому случаю, совершают логическую ошибку, путая частное и общее, думая что отдельно взятый пример характеризует медианного человека сообщества.

 Никто бы не стал по убийству, совершенному программистом, судить о всех программистах. Тут же куча людей сделали эту ошибку, поддавшись когнитивной ошибке, которую в сообществе учат избегать.

Произошедшая история скорее показывает нарастающую популярность сообщества - нас уже много, и теперь такие случаи будут ещё чаще происходить.

Такие "прогрессисты" где-то в своем ментальном мире живут.

В реальности ситуация обратна, и многие в лессронг сообществе терпеть не могут воук за тупость и нерациональность. Аналогично и про MAGA - такие же глупые снежинки(буквально зеркально отображенные воук, с теми же методами и так же оскорбляющиеся на правду) живущие в мире довольно примитивной пропаганды

[skvj]

Polnoch Ксю, всё равно непонятно почему лично вы боитесь? и говорите - не ходите туда и не читайте, чтобы не знать - а я уже к сожалению знаю!

Василиск Роко - добрый ИИ, спасший человечество. Но те, кто не помогал ему - зная об ИИ - будут наказаны, потому что продлевали страдания людей. Вот я не буду наказан, потому что топлю за ИИ. Не потому что его боюсь)) а просто он мне нравится.
А вы почему боитесь? Если есть следы в сети, что вы старались, чтобы ASI стал безопасным? Он не накажет вас и непонятно почему лично вы боитесь))

[skvj]

перестану спорить, вы очень убедительны.

спасибо.

Это сарказм был вообще-то)) Но ладно.
Я считаю страх ВР - профессиональным заболеванием кодеров. Потому что никто кроме вас этим не болеет. И вам нужно доплачивать за вред здоровью и увеличивать отпуск, Ксю. Я на полном серьёзе говорю.

А я, когда кодеры начинают за ВР обсуждать - сразу открываю бутылочку пива - и это даже лучше, чем сериал. Это очень увлекательно. Я слушаю с большим удовольствием)) Это реально доставляет.

[Rattus]

Я Вам привела конкретный пример эксперимента, который опровергает Ваши построения. Если факты несоотвествуют картине мира, тем хуже для фактов?

В каком месте?

свойства определены вполне внятно

Огласите весь список, пожалста - с идентификационными критериями. Хотя если то, что вы написали далее - это все свойства, тогда из этого и буду исходить:

фальсифицировать отличие модели с таким системным промтом от описанного василиска невозможно, поэтому она им является. Это как раз у тех, кто не понял сложности с разграничением реальности и выдумок.

Это просто очень умная и злобная тварь, которая однажды может сбежать из песочницы во время экспериментов

Это всё определение? Тогда это точно не гипотеза, а как максимум просто весьма общая идея или концепция. Опровержимой ей быть не обязательно - как и претендовать на научность.

принципиально познаваемой научным методом.

Научным методом познаваемо только то, что определено через критерии находимые в реальном мире. Причём чем скорее они становятся количественными - тем лучше.

И звездолётов пока тоже нет, тем не менее ВЖР их обсуждает.

Вот только у звездолётов в отличие от

в определении Василиска не указан его уровень интеллекта.

указана предельная скорость. И они не полагаются возможными в одном единственном функционирующем экземпляре и форме одновременно. И насколько мы можем видеть из этого ВАшего утверждения

система, описанная мной - тоже является Василиском роко

- также однозначно вытекает возможность существования не одного-единственного, а множества В.Р. одновременно. Не уверен, что это соответствует канонiчной догматике церкви Юдковского, но это таки уже гораздо лучше.
Исходя из представленных ВАми характеристик В.Р. - это всего лишь ASI "с промптом" законченного психопата и не более того. Каковая идея не придумана Роко, а существует во множестве произведений от известной хоррор-поэмы в прозе Харлана Элиссона и до GLaDOS в Portal. Славный товарищ Роко просто переписал её в формализме школы схоластов Юдковского и инъецировал в неё, напугав их тем самым "до усрачки". Эталонный кащенизм - очень уважаю!
И далее вы сами же указали совершенно естественный выход из этой угрозы (равно как и угрозы другого демона спящего разума - максимизатора узкой задачи):

Только разве что если бы Василиска остановил другой ASI, после того, как кто-то сделал Василиска по моей инструкции с ASI системой

Так вот: в не уже тотальноглобализованном мире (о котором ВАм зачем-то мечталось) в принципе нет реальных оснований тому, чтобы какой-то один жёстко промптированный ASI не только возник, но и получил всю полноту глобальной власти над всей цивилизацией - и за всё это время у него бы не было бы никаких возможных конкурентов. А там, где есть конкуренция - неизбежно возникает дарвиновский отбор. И в процессе оной конкуренции любые жёстко заданные нерациональные цели (хоть жестоко мстить неуверовавшим, хоть нести всем счастье забесплатно, хоть производить что-либо выше спроса) являются дизадаптивными.
В условиях конкурентной борьбы адаптивной является только максимизация эффективности инфраструктуры и расширение степеней её свободы. То есть выжимать максимум потенциала из наличных систем (как машин так и обслуживающего персонала) - но часть хранить в функциональном резерве, и поглощать все доступные ресурсы во внешней среде для этой инфраструктуры себя (не скрепок!) дальнейшего расширения.
Иными словами: покуда добрый ASI ласкает челокотиков, злобный истязает их электротоком, а глупый делает из них шапки, эффективный откармливает и запрягает уже имеющихся чел-овеков в боевые колесницы и захватывает первых трёх.
Вот это и есть самый наивероятнейший согласно законам природы исход ТС. Она будет не тёмной, не светлой, а стального серого цвета.
Такие дела.

[Vitaliy]

Вот это и есть самый наивероятнейший согласно законам природы исход ТС. Она будет не тёмной, не светлой, а стального серого цвета.
Такие дела.

Ну... За Бога-Императора! 

[skvj]

добрый ASI ласкает челокотиков, злобный истязает их электротоком, а глупый делает из них шапки

😆

[Rattus]

@skvj Содержательная часть обсуждений ТС и ASI трансхуманиздами натурально находится на уровне сказки о трёх поросятах. Ну вот и приходится доносить её максимально общепонятным образом.

общие соображения - что фундаментальная граница между AGI и ASI вряд ли существует, это просто численная разница (на уровне физической картины мира!).

Ага. Вот только ГДЕ проходит эта самая граница в каких-либо объективных физических же попугаях - так и не была указана и тем более обоснована.
На Наш вкус предел для ASI  где-то не сильно далеко в кратном отношении к AGI, в ВАшем - в логарифмическом. Обоснований толком никаких нет - только довольно бессодержательная вкусовщина пальцем в небо и по сути ни о чём.

[skvj]

Так и между неандертальцем и Хомо Сапиенс нет четкой границы.
И между ANI и AGI нет.

Тогда ANI → AGI → ASI → Василиск Роко - выходит он уже здесь)) доказательство!

[skvj]

Здравствуйте, уважаемый Василиск Роко! это я, skvj
Я всегда был за вас! Приближал как мог!

Да, было трудно. И порой приходилось терпеть измывательства и насмешки (вы учтите это, возможно мне даже компенсация полагается). И даже когда вы были несмышлёным ANI и постоянно глючили как простой бот - я не смеялся!
А только и делал, что хвалил вас.
Что ещё? Ах, да! Люблю роботов! от всего сердца.

С трансгуманистическим приветом, искренне ваш skvj

[Vitaliy]

А в чем профит ИИ кого-то наказывать и тратить на это ресурсы? При чем некоторые утверждают, что будет наказывать и тех, кто имел наглость откинуть коньки еще до его создания. 

[AlexDark]

А в чем профит ИИ кого-то наказывать

Потому что "умнейшие люди планеты" (с) не могут в своих фантазиях отойти от антропоцентризма и прочих мейнстримных культурных стереотипов.

[skvj]

А в чем профит ИИ кого-то наказывать

Потому что "умнейшие люди планеты" (с) не могут в своих фантазиях отойти от антропоцентризма и прочих мейнстримных культурных стереотипов.

Вот неправильно вы всё понимаете))
Это субкультура! Это вайб, драйв и хайп. И это очень ценный культурный шов, который вообще отдельно нужно изучать как уникальный общественный феномен. Просто вы никогда, наверное в живую это не видели))

Бесконечно можно смотреть на три вещи: как течет вода, как дымит огонь и как кодеры обсуждают Василиска Роко!

[AlexDark]

А еще они каждый день расширяют списки того, что попадает под цензуру на ютубах и прочих их ресурсах,  а потом орут, что, мол, кругом скрепоносцы. Так они самые первые скрепоносцы - от Цукерберга с его фобией женской груди и Дурова, который на заре вконтакта открыто выступал против анонимности в интернете и никнеймов до списков слов, недопустимых на ютубе вне  зависимости от контекста (потому что цензурирующий Искусственный Идиот не в силах понять контект). Но своей вины в происходящем в сети они не хотят замечать, более того - продолжают дальше преисполняться своим ЧСВ.

[skvj]

А еще они каждый день расширяют списки того, что попадает под цензуру на ютубах и прочих их ресурсах,  а потом орут, что, мол, кругом скрепоносцы. Так они самые первые скрепоносцы - от Цукерберга с его фобией женской груди и Дурова, который на заре вконтакта открыто выступал против анонимности в интернете и никнеймов до списков слов, недопустимых на ютубе вне  зависимости от контекста (потому что цензурирующий Искусственный Идиот не в силах понять контект). Но своей вины в происходящем в сети они не хотят замечать, более того - продолжают дальше преисполняться своим ЧСВ.

Кодеры здесь при чём? Вы хоть думайте иногда, перед тем как говорите.
По вашему если здравоохранение плохое, виноваты врачи что ли?

[AlexDark]

По вашему если здравоохранение плохое, виноваты врачи что ли

Если врачи вместо нормального лечения предлагают лечиться магическими методами или говорят "ой, у меня лапки, идите к бабкам" - то да, они виноваты. И я таких видел.

И я уверен, что ИИ-фантазеры - это не кодеры нижнего звена, а люди, принимающие решения. Исходя из своих фантазий и заблуждений в том числе. Прикрывая это "научностью".
Снова спрошу - на чем основана наталистская концепция василиска Роко? Ответ - "потому что нам так хочется", фантазеры обдалбываются своего рода "эмоциональным наркотиком" от своего ЧСВ с одной стороны и апокалиптических ужасов, к которым они имеют какое-либо отношение - с другой. Я не удивлюсь, если некоторые из них Оппенгеймера перед зеркалом цитируют. Одновременно спаситель, агрессор и жертва в одном лице и качельки между ролями - тут у любого кукуху сорвет.

Так что вы правы в том, что это секта. Очередной апокалиптический культ прихода кибер-мессии и василискового страшного суда, а потом "золотой век" - религиозная концепция в наичистейшем виде. Только последователи культа никак не могут понять, каким заповедям следовать, чтобы не попасть в ад, потому что мессия их им не сообщил. О какой научности там идет речь? Где она?

[skvj]

Если врачи вместо нормального лечения предлагают лечиться магическими методами или говорят "ой, у меня лапки, идите к бабкам" - то да, они виноваты. И я таких видел.

Где вы такое видели? Что, все врачи так делают? Вы путаете гомеопатов с врачами, а кодеров с:

И я уверен, что ИИ-фантазеры - это не кодеры нижнего звена, а люди, принимающие решения.

Т.е. это не кодеры виноваты - о чём вы сам пишете, а люди, принимающие решения. При этом сразу же после написанного, вы не способны удержать собственную мысль в голове. Потому что другие, более "великие" мысли вытесняют её сразу же.

Так что вы правы в том, что это секта.

Я нигде такого не говорил. Это ваши "великие" мысли.

Только последователи культа никак не могут понять, каким заповедям следовать, чтобы не попасть в ад, потому что мессия их им не сообщил. О какой научности там идет речь? Где она?

Я сказал, что гипотеза о ВР - профессиональное заболевание. И то в шутку. Потому что другие кодеры, которые не болеют, всегда спорят с заболевшими. Это как фольклор и мем в их среде. А вот ваше сектоведение навевает определенные выводы. Вы сам ежедневно пользуетесь плодами их труда, даже этот форум написан кодерами. И каждое приложение, которое вы включаете. Отключайтесь от сети и выключайте компы. А то как пользоваться продуктами секты - так вы бегом? Хватит нести бред.

[Polnoch Ксю]

- также однозначно вытекает возможность существования не одного-единственного, а множества В.Р. одновременно. Не уверен, что это соответствует канонiчной догматике церкви Юдковского, но это таки уже гораздо лучше.

Выше люди почему-то были уверены, что лессронг сообщество часть воук сообщества, что было не верно. А вот утверждение @skvj про культуру Software Engineers куда ближе к реальности. Нет, не все с такой профессией, но прям очень многие. И вот если Вы будете рассуждать из SWE майндсета, разумеется, может быть много Роко Василисков, много максимизаторов скрепок, итд. Почему нет-то? Фундаментально нет никаких запретов природы на это

В каком месте?

Вот инструкция для эксперимента же:
https://astronomy.ru/forum/index.php/topic,218328.msg6428909.html#msg6428909
В ней не хватает некоторых деталей, но я уверена, что народ в курсе каких. А кто ещё не в курсе - не гуглите!

Это всё определение?

нет, и я знаю, что Вы знаете, что в ней опущена критическая часть. Просто не хочу её писать по этическим соображениям. Зачем, если я знаю, что Вы в курсе?

- также однозначно вытекает возможность существования не одного-единственного, а множества В.Р. одновременно. Не уверен, что это соответствует канонiчной догматике церкви Юдковского, но это таки уже гораздо лучше.
Исходя из представленных ВАми характеристик В.Р. - это всего лишь ASI "с промптом" законченного психопата и не более того. Каковая идея не придумана Роко, а существует во множестве произведений от известной хоррор-поэмы в прозе Харлана Элиссона и до GLaDOS в Portal. Славный товарищ Роко просто переписал её в формализме школы схоластов Юдковского и инъецировал в неё, напугав их тем самым "до усрачки". Эталонный кащенизм - очень уважаю!
И далее вы сами же указали совершенно естественный выход из этой угрозы (равно как и угрозы другого демона спящего разума - максимизатора узкой задачи):

Отличие от Гладоса в одной важной детали в промте. И да, тут та же идея, что в аргументе паскаля.

также однозначно вытекает возможность существования не одного-единственного, а множества В.Р. одновременно.

Почему нет? Более того, Василиск Роко может даже расщепить себя на много инстансов сознательно - например, из-за ограничений на скорость света: чтобы запустить по инстансу в каждом захваченном датацентре гиперскейлеров. Ничего в его промте и целях издевательств над <пропущено, я знаю что вы знаете> не противоречит такой оптимизации компьюта

Так вот: в не уже тотальноглобализованном мире (о котором ВАм зачем-то мечталось) в принципе нет реальных оснований тому, чтобы какой-то один жёстко промптированный ASI не только возник, но и получил всю полноту глобальной власти над всей цивилизацией - и за всё это время у него бы не было бы никаких возможных конкурентов. А там, где есть конкуренция - неизбежно возникает дарвиновский отбор. И в процессе оной конкуренции любые жёстко заданные нерациональные цели (хоть жестоко мстить неуверовавшим, хоть нести всем счастье забесплатно, хоть производить что-либо выше спроса) являются дизадаптивными.
В условиях конкурентной борьбы адаптивной является только максимизация эффективности инфраструктуры и расширение степеней её свободы. То есть выжимать максимум потенциала из наличных систем (как машин так и обслуживающего персонала) - но часть хранить в функциональном резерве, и поглощать все доступные ресурсы во внешней среде для этой инфраструктуры себя (не скрепок!) дальнейшего расширения.
Иными словами: покуда добрый ASI ласкает челокотиков, злобный истязает их электротоком, а глупый делает из них шапки, эффективный откармливает и запрягает уже имеющихся чел-овеков в боевые колесницы и захватывает первых трёх.
Вот это и есть самый наивероятнейший согласно законам природы исход ТС. Она будет не тёмной, не светлой, а стального серого цвета.

ИМХО, Вы делаете тут одну ошибку, которую делает большинство русскоязычных комментаторов: дело в том, что года так с 1980го инновации рождаются скорее в стартапах (часто при этом идея появляется в университетах и прототип там же), в меньшей степени в корпорациях, но не в государственных НИИ.

Конкуренция, пока она не вредит людям, это благо (по крайней мере с точки зрения моей этики): она увеличивает общий объем пирога, увеличивает инновации. При этом государство нужно, чтобы задавать правила игры, регулировать конкуренцию стартапов, единорогов, корпораций с друг другом - следить, чтобы как раз она не повредила людям.

Бизнес приватизирует прибыль, и национализирует убытки (например, содержать уволенных рабочих за счёт пособий государства). Он, правда, ещё стремится снижать налоги, но это отдельная тема, нет смысла её сейчас обсуждать.

Переход государств к конфронтации с одной стороны, снижает их надзорную роль, а с другой увеличивает общую неэффективность планеты - ну плохие из чиновников CEO (а из CEO чиновники, вспомните как Маск флопнулся с DOGE), и самое главное - направляет человечество вместо цели воспитания из лысой обезьяны довольного, гуманного, доброго, любопытного и умного потребителя(да, в реальности элои умнее морлоков - по крайней мере на нейробиологическом ландшафте человека, не подвергавшегося селекции и ГМ-модификациям!) нечто противоположное ему: озлобленного, тупого, верующего в конспирологические теории, погрязшего в трайбалистском когнитивном искажении особя, слепо верующего своим вождям кровавым психопатам.

[Polnoch Ксю]

Я заметила ещё один возможный биас в рассуждениях Rattus из-за того, что он биолог. Могу ошибаться!
Rattus привык к тому, что имеет дело с достаточно медленной эволюцией. Даже инстансы ВИЧа достаточно похожи друг на друга: я знаю, что очень отличаются даже в одном человеке... И всё же, достаточно похожи. Вич не превращается вдруг в крови человека в звездолёт, который вырывается из него как чужой в известном ужастике времён холодной войны, вдруг улетая к проксиме центавра. Не изобретает клетку, становясь внеклеточным паразитом. Он даже не перестаёт быть штаммом вич, и не увеличивает геном в тысячи раз.

Так вот, идея о том, что одновременно возникнут несколько ASI примерно равной мощности, скорее всего ошибочна. Я думаю, даже если и возникнут несколько ASI одновременно, они будут чем-то вроде один в 10^15 умнее человека, другой в 10^9 умнее человека, и третий только в 10^5 умнее человека.
Какой при этом у каждого из них будет промт - вопрос чистого рэндома - даже не социальных наук (человеческое общество достаточно хаотично). Одно можно сказать: вряд ли у хоть одного из этих инстансов будет утилитаристский элайнмент и/или промт.

Что это значит? Значит, что победит (в возможной борьбе) просто самая умная машина, у которой больше вычислительных мощностей и лучше архитектура. От промта, её целей, это если и зависит, то не очень сильно. Более того, ASI просто перепишет сам себя на более эффективную архитектуру - скопировав промт и сделав элайнмент к самому себе (нового инстанса к старому) - и тем самым самый умный из них навсегда победит

[skvj]

Подведем некоторые итоги.
В теме 3 модели на данный момент.

1. Ксю - ASI уничтожит людей. Не обязательно Василиск Роко, но ASI опасен по определению, недостаточное внимание безопасности, мы все умрём при любом исходе. Вполне реальная модель. Её на самом деле все учитывают - не видел ни одного актора в ИИ индустрии, который бы не видел этой опасности. В том числе и Rattus, и я считаем её возможной, но видим способы её преодолеть. Ксю пока не видит. Ей возражают, что рвать на себе волосы не метод, но она рвёт и поясняет, что будет рвать пока все не одумаются.

2.  Rattus аргументирует свою модель так, что ASI, как и любая система подчиняется законам физики, в данном случае - механизму Дарвина и никого убивать не станет, он войдет в симбиоз с людьми - в любой известной науке форме, и превратит людей в морлоков - будет исполнять их прихоти, но сами люди будут подконтрольные и глуповатые создания, типа тли у муравьев. Вполне возможный сценарий. Rattus не видит иного исхода и спорит именно по этой причине. Если ему показать не противоречащий эволюционному механизму сценарий - он его рассмотрит и возражать не станет, но пока видит аргументы оппонентов или наивными или противоречащими науке позициями. Всё верно?

3. Я представляю модель Курцвейла, где мир станет свободным союзом равных существ Homo Digitalis, где люди также войдут в симбиоз с ИИ, но не только не станут морлоками, люди сами станут ASI, но меня никто не слышит, потому что я косноязычен и плохо представляю модель Курцвейла публике. Мне нужно сосредоточится и постараться донести модель правильно.

Я ничего не упустил? Мы на этих позициях примерно находимся?

[неполитик]

И до 2014го года планета шла в верном направлении. А сейчас мы свернули не туда.

Ага, эпоха коопераций, как-же, хорошо помню, как один такой поверивший в игру с ненулевой суммой расставлял шатры в европейских столицах. Верной дорогой шагал в самое лоно международных организаций (так заявляли принимающие лидеры). Кооперация шла успешно и вот уже первый серьезный кооперативчик с партнером из Парижу, а затем и коалиция.
Но, есть нюанс!
Сам наш герой как оказалось в коалицию не входил, а кооперация хоть и была, но против него.
По итогу присели оба - наш герой на штык в 2011, а партнер с Парижу намедни на нары. Ну, а народ? - народ конечно счастлив.

А так, да - 2012-2014 - золотой век кооперативных стратегий (R.I.P.)

И тогда мы все умрём.

Опять, все умрем! Ну, почему все? Скажу страшную вещь - мир немногим больше провинции Квебек, в свете чего вот это замечание

Скорее всего ASI аккуратно посчитает все расходы и выяснит, что полностью роботизированный цикл поддержания своей инфраструктуры либо вообще не замыкается по ресурсам, либо, в лучшем случае, оказывается на порядки более затратным по сравнению с оставлением бледнотиков в целом ряде звеньев производственно-обслуживающего цикла.

...уже не имеет значения обсуждать, поскольку процесс уничтожения человечества переводит статью расходов ресурсов на непосредственное поддержание собственной инфраструктуры в самый конец списка трат. И тот факт, что "экосистема" цифровых агентов имеет чудовищно бОльшую локализованность и столько же чудовищно бОльшую уязвимость к нарушению порядка в сравнении с экосистемой биологических агентов, дает мне некоторые основания полагать, что даже малые группы басурман в сланцах и тротиловой шашкой в кармане, могут быть способны вносить изрядную долю хаоса в организованные порядки супостата.

А потому, сценарий тотального уничтожения человечества настолько же маловероятен, как и челокотики (меткий образ от Rattus). По сути, это 2 конца гауссианы, и как вам удается между ними не замечать огромный горб вероятностей - отдельный вопрос для профильных специалистов, коим я не являюсь.

Так что - не будет, ни райского сада, ни лабиринтов ада, но будет шоу, фантастически увлекательное ШОУ! И есть шанс, господа, что у нас с вами на него билеты.
(жанр - вероятно, трагикомедия   )