Посттехносингулярный мир и искусственный суперинтеллект: как он будет выглядеть?

[Olweg]

а страх всегда приоритетней - это эволюционно обоснованно.

Да он вообще приоритетен: угроза такого рода это терминальный риск. Всякое разумное существо с эволюционным "с промтом" должно реагировать на терминальные риски.

Реагировать на них можно по-разному: можно пристёгиваться во время езды, а можно не летать на самолётах из-за аэрофобии. И ведь с логикой аэрофобов не поспоришь: риск авиакатастрофы есть всегда.

[Vitaliy]

Ребята не стоит вскрывать эту тему. Вы молодые, шутливые, вам все легко. Это не то. Это не Чикатило и даже не архивы спецслужб. Сюда лучше не лезть. Серьезно, любой из вас будет жалеть. Лучше закройте тему и забудьте что тут писалось. Я вполне понимаю что данным сообщением вызову дополнительный интерес, но хочу сразу предостеречь пытливых - стоп. Остальные просто не найдут.

[Polnoch Ксю]

Ребята не стоит вскрывать эту тему. Вы молодые, шутливые, вам все легко. Это не то. Это не Чикатило и даже не архивы спецслужб. Сюда лучше не лезть. Серьезно, любой из вас будет жалеть. Лучше закройте тему и забудьте что тут писалось. Я вполне понимаю что данным сообщением вызову дополнительный интерес, но хочу сразу предостеречь пытливых - стоп. Остальные просто не найдут.

да, эта паста очень к месту, лол

[Olweg]

Но это иллюзия. Можно придумать альтернативу, например, что ИИ станет награждать и творить милости почитающим Его, а грешников просто не станет трогать и оставит доживать свою обычную смертную жизнь - идея ничем не хуже и не лучше с точки зрения вероятностей, чем идея Василиска, но она вызывает всего лишь положительные эмоции, а страх всегда приоритетней - это эволюционно обоснованно.

нет, обратный Василиск по-другому определяется.

Так я и не пытался придумать обратный Василиск. Это просто ещё один из множества мыслимых сценариев. Создавать такие можно тысячами.

[Polnoch Ксю]

Так я и не пытался придумать обратный Василиск. Это просто ещё один из множества мыслимых сценариев. Создавать такие можно тысячами.

Конечно. Я и говорю, похожесть создания сценария Вас запутала с Rattus'ом. Так как обычно аргумент паскаля идёт в комплекте с религией, и принципиально непознаваемыми, мистическими итд сущностями, рука тянется его запретить. Но это ошибка - сама идея вполне валидна, потому, что можно поставить эксперимент. Идею выписали из научной картины мира, потому, что тем, кто выписывал, не пришло в голову, что речь может быть не о мистических и непознаваемых сущностях, а о интеллектуальной машине, умнее чем человек, но принципиально познаваемой научным методом.

Ключевое слово принципиально - в реальности человек был бы слишком медленен и глуп по сравнению с ASI с промтом Роко Василиска, чтобы смоделировать его поведение. Только разве что если бы Василиска остановил другой ASI, после того, как кто-то сделал Василиска по моей инструкции с ASI системой (не повторяйте такое никогда с настоящим ASI!), и тогда человек может за сотни лет (названное время - просто пример для иллюстрации идеи. Ппредположим у человека  биологическое бессмертие) может быть смог бы в итоге понять почему отдельные сложнейшие действия,  вписанные в план, придуманный Василиском за микросекунды, были им осуществлены, пока он не был остановлен другой ASI-системой

[Olweg]

Валидность идеи не играет тут роли. Можно создать тысячи альтернативных точно так же валидных сценариев, я об этом. Василиск привлекает столько внимания, потому что он страшный. Миндалины тут же начинают бить тревогу, а лобные доли - судорожно пытаться найти опровержение, и не могут, отчего паника только усугубляется. Невозможность опровержения ≠ подтверждению верности.

[Polnoch Ксю]

Невозможность опровержения ≠ подтверждению верности.

Это вообще плохой аргумент. Я считаю, что отрицание принципиально возможных вещей ошибкой, которую почему-то совершают многие люди. Предлагаю называть класс таких ошибок Слепотой Лорда Кельвина - смотреть на птиц и путать принципиальную невозможность создания летающих машин тяжелее воздуха с инженерной сложностью (или с малой вероятностью сценария)

Ну а что касается вероятности - уверяю Вас, многие люди попадут в эту ментальную ловушку, и как раз очень вероятно по причинам привлекательности этой идеи (см. Ваши же аргументы выше), что кто-то сделает такое.

А вот обратный Василиск, как следствие  нейробиологического ландшафта хомо сапиенса куда менее вероятен!

[skvj]

Polnoch Ксю, Василиск Роко не поддаётся экспериментальной проверке, ведь его можно проверить только после того, как он проявится, а это выводит идею за пределы научного метода))

[Polnoch Ксю]

Polnoch Ксю, Василиск Роко не поддаётся экспериментальной проверке,

Не верно, я только что привела пример экспериментальной проверки: https://astronomy.ru/forum/index.php/topic,218328.msg6428934.html#msg6428934

ведь его можно проверить только после того, как он проявится

Не верно, в определении Василиска не указан его уровень интеллекта. Так что система, описанная мной - тоже является Василиском роко, просто глупой и неопасной его разновидностью. Василиск из моего эксперимента попытается сделать всё то же, просто его план провалится - из-за тупости этой машины. Не из-за каких-то приципиальных ограничений или ошибочности идеи!

[Olweg]

Это вообще плохой аргумент. Я считаю, что отрицание принципиально возможных вещей ошибкой, которую почему-то совершают многие люди. Предлагаю называть класс таких ошибок Слепотой Лорда Кельвина - смотреть на птиц и путать принципиальную невозможность создания летающих машин тяжелее воздуха с инженерной сложностью (или с малой вероятностью сценария)

Так василисков-то вокруг нас не заметно, в отличие от птиц )

Ну а что касается вероятности - уверяю Вас, многие люди попадут в эту ментальную ловушку, и как раз очень вероятно по причинам привлекательности этой идеи (см. Ваши же аргументы выше), что кто-то сделает такое.

Самосбывающееся пророчество? Ну сумасшедших конечно много, но вряд ли их кто-то близко подпустит к лабораториям ASI.

[Polnoch Ксю]

Так василисков-то вокруг нас не заметно, в отличие от птиц )

И звездолётов пока тоже нет, тем не менее ВЖР их обсуждает. У нас есть естественный интеллект - он пруф что возможны AGI системы. И ещё у нас есть знания о нейробиологии, и общие соображения - что фундаментальная граница между AGI и ASI вряд ли существует, это просто численная разница (на уровне физической картины мира!). Это для гуманитарных наук ASI принципиально другая штука.

Самосбывающееся пророчество?

Конечно

Ну сумасшедших конечно много, но вряд ли их кто-то близко подпустит к лабораториям ASI.

мне бы Ваш оптимизм

[Olweg]

Так василисков-то вокруг нас не заметно, в отличие от птиц )

И звездолётов пока тоже нет, тем не менее ВЖР их обсуждает

Туше. Хотя если быть точным, то обсуждают средства преодоления межзвёздных расстояний, а не одну лишь конкретную модель - тут аналогия скорее с ИИ в целом. Впрочем, у некоторых звездолётчиков тоже есть свои сверхидеи )

[skvj]

Не верно, я только что привела пример экспериментальной проверки:

Ксю, эксперимент, который вы приводите, подтверждает только одно: что можно создать модель, которой задана цель вести себя как Василиск.
Но это проверка корректности промта, а не реальности гипотезы.

Чтобы эксперимент был научным по Попперу, он должен пытаться сфальсифицировать тезис, а не создать его симулякр.

Если мы закладываем в систему системный промт "ты Василиск", то верификация поведения не может служить доказательством существования Василиска. Это то же самое, что эксперимент доказывающий драконов, в котором я сначала пишу модели:
"ты огнедышащий дракон"))

[Polnoch Ксю]

Ксю, эксперимент, который вы приводите, подтверждает только одно: что можно создать модель, которой задана цель вести себя как Василиск.
Но это проверка корректности промта, а не реальности гипотезы.

Нет способа фальсифицировать по-попперу разницу между этим инстансом модели и Василиском Роко. Как приверженная научной картине мира, я отвергаю эту разницу, раз она принципиально не фальсифицируема, значит её просто нет. И считаю эту машину Василиском Роко

[Polnoch Ксю]

Если мы закладываем в систему системный промт "ты Василиск", то верификация поведения не может служить доказательством существования Василиска. Это то же самое, что эксперимент доказывающий драконов, в котором я сначала пишу модели:
"ты огнедышащий дракон"))

перечитайте тред ещё раз - Вы видимо пропустили большую часть аргументов. Я на этот уже отвечала

[skvj]

Ксю, эксперимент, который вы приводите, подтверждает только одно: что можно создать модель, которой задана цель вести себя как Василиск.
Но это проверка корректности промта, а не реальности гипотезы.

Нет способа фальсифицировать по-попперу разницу между этим инстансом модели и Василиском Роко. Как приверженная научной картине мира, я отвергаю эту разницу, раз она принципиально не фальсифицируема, значит её просто нет. И считаю эту машину Василиском Роко

Если я не могу различить X и Y, значит X = Y?

Критерий "если я не могу фальсифицировать разницу, значит разницы нет", сам по себе не работает.

[Polnoch Ксю]

Если я не могу различить X и Y, значит X = Y?

если принципиально(фундаментально!) нельзя отличить, да, конечно - если у Вас невидимая, неощутимая разница, то это как раз религиозно постулировать разницу

[skvj]

если принципиально(фундаментально!) нельзя отличить, да, конечно - если у Вас невидимая, неощутимая разница, то это как раз религиозно постулировать разницу

Договорились! если мы не можем познать разницу, значит разницы нет! )) перестану спорить, вы очень убедительны.

[Polnoch Ксю]

перестану спорить, вы очень убедительны.

спасибо. Я так же призываю всех обратить более пристальное внимание на аргументы сообщества Лессронг, рациональных альтруистов и Юдковского в частности. Лидеры мнений сообщества лессронг, ИМХО, умнейшие люди планеты.

Это не попытка восхвалять себя - я наверняка в 1% перцентиле тупейших людей сообщества, если не хуже - это не самореклама, а реклама сообщества. Хотя у меня и есть оригинальные идеи, на дискуссиях вокруг Василиска мы все в сообществе съели собаку - я ничего нового не сказала. Если бы Rattus ходил в наши чатики, он бы такую ошибку, записав это в религию, не совершил бы! Эти же аргументы я услышала от других людей. Разве что план по созданию Василиска Роко, дизайн эксперимента я сейчас придумала - сам аргумент, что Василиск принципиально познаваем, в отличие от авраамического бога из аргумента Паскаля, а потому тут Rattus ошибся, вовсе не мой, я его в чатиках видела, когда спорила используя аргументы, которые звучали от Вас, от Olweg, и Rattus.

Мои аргументы почему умнейших людей: сообщество лессронг целенаправленно выпиливает из своего мышления когнитивные искажения - большинство людей этим не занимается. Научный метод, конечно, работает, но на уровне постановки задач для научного метода люди могли бы быть эффективнее, рациональнее, если бы мы все были частью этого сообщества, если бы нашим методам учили в школе.

А ещё этичнее, если бы ещё были частью сообщества рациональных альтруистов(во многом пересекающимся с сообществом лессронг, хотя среди лессронговцев бывают и технофашисты). В другом, утопическом таймлайне главой объединённого человечества выбрали бы кого-то из рациональных альтруистов, с репутацией в сообществе(у меня такой, значимой, нет - я не только одна из самых глупых в сообществе, ещё и почти неизвестна в нём).

Но мы в другом, куда худшем таймлайне, ИМХО, ведущем нас к катастрофе, увы

[Trend]

А ещё этичнее, если бы ещё были частью сообщества рациональных альтруистов(во многом пересекающимся с сообществом лессронг, хотя среди лессронговцев бывают и технофашисты). В другом, утопическом таймлайне главой объединённого человечества выбрали бы кого-то из рациональных альтруистов, с репутацией в сообществе.

Да они больны ФГМ в терминальной стадии, как и большая часть современной "прогрессивной культурной элиты". Убедился в этом сам. Такие "прогрессисты" где-то в своем ментальном мире живут. Не зря же в Кремниевой долине дико часто аутисты рождаются у местных айтишников. Значит у тех, кто хорошо шарит в IT, уже имеется склонность к аутизму.

Такие еще любят внимание к себе привлекать, пророчествуя всем о скором БП.

У Юдковского, кстати, и творчество - жутко напыщенная нудятина. И в подметки не годится фантастам прошлого.