Посттехносингулярный мир и искусственный суперинтеллект: как он будет выглядеть?

[Polnoch Ксю]

Не кажется ли вам, что в ваших словах есть противоречие? ИИ всем поможет и в то же время кому-то ИИ вряд ли сможет помочь?

Ну вообще если бы системный промт ASI контролировал бы условный Юдковский(а точнее, сообщество лессронг или рациональных альтруистов - не сотвори себе кумира!), и уже была бы технология элайнмента, может быть и можно было бы что-то сделать: я думаю, сверхинтеллектуальная, терпеливая машина без эго могла бы победить проблему низкого доверия. Вот, смотрите, чат-боты могут переубеждать конспирологов:

https://habr.com/ru/articles/844208/

Но проблема в том, что системный шел ASI будет или у unaligned ASI с десктруктивным промтом (например, десктрутивным в инструментальных целях, не терминальных), или у злодеев, делающих интересные жесты правой рукой, и называющих свои датацентры в честь предшественника скайнета в массовой культуре(а ещё вероятнее - у людей, которые вообще не считают, что человечество достойно выживания:  ) , или у (несколько менее вероятно) суприм лидеров, которые проводят геноциды.

У рациональных альтруистов, и у других этичных людей не будет доступа к системному шелу ASI.

[Polnoch Ксю]

Да при чем здесь Поппер?))

А Вы прочитайте, сразу поймёте

Вот вы мечтаете о ликвидации ценробанков.

нет, я мечтаю о восстановлении доверия к общественным институтам и людей к друг другу, о восстановлении общества потребления и об отказе от скреп и глобальной конфронтации.
Я за сытую лысую обезьяну, у которой есть ресурсы на то, чтобы волонтёрить, и помогать друг другу. Которая не поставлена в ситуацию, когда верит, что агрессия нужна для её, обезьяны выживания (или выживания её культурной идентичности).

А технические особенности, как нам реформировать общество с помощью технологий, могли бы быть предметом дискуссий экспертов - в таком обществе мы бы доверяли и с интересом бы за ними следили. Мы уже жили в таком обществе - в России ~14 лет назад. В Северной Америке - два года назад (в Канаде ещё есть остатки такого общества, в США уже нет). В Северной Европе пока ещё осталось это, и в условном Сингапуре, но вряд ли надолго

[skvj]

Да при чем здесь Поппер?))

А Вы прочитайте, сразу поймёте

Да я б с удовольствием. Поппер крут по сей день. Где время взять? Тут, понимаешь, гора по космологии нечитанная лежит! Космология сама себя не почитает! Здесь по ИИ нужно читать две горы. Там про квантовые компы накопилось))

Вот вы мечтаете о ликвидации ценробанков.

нет, я мечтаю о восстановлении доверия к общественным институтам и людей к друг другу, о восстановлении общества потребления и об отказе от скреп. А технические особенности, как нам реформировать общество с помощью технологий, могли бы быть предметом дискуссий экспертов

Т.е. когда мечта осуществляется - сразу хочется чего-то другого?))

[Polnoch Ксю]

Да я б с удовольствием. Поппер крут по сей день. Где время взять?

Просто тогда у Вас сразу Ваш оптимизм пропадёт. По космологии не стоит сейчас ничего читать - в ней фундаментальный кризис парадигмы. Учёным нужно разобраться что там и как

Я бы очень советовала именно Вам "Открытое общество" и "Why nations fail"

[skvj]

Ладно, пошёл я баиньки.
Спокойной ночи! Если у вас в Канаде ночь, конечно)) в чем я сильно сомневаюсь!

PS почитаю, почитаю, спасибо

[Olweg]

Ну вообще если бы системный промт ASI контролировал бы условный Юдковский(а точнее, сообщество лессронг или рациональных альтруистов - не сотвори себе кумира!), и уже была бы технология элайнмента, может быть и можно было бы что-то сделать: я думаю, сверхинтеллектуальная, терпеливая машина без эго могла бы победить проблему низкого доверия. Вот, смотрите, чат-боты могут переубеждать конспирологов:

https://habr.com/ru/articles/844208/

Да, уже выкладывал эту сенсационную новость на форуме ) Но, хотя я пристально и не читал Юдковского со товарищи, мне кажется, основная их мысль, что никакие человеки, ни консерваторы, ни новаторы, ни даже сами лессронговцы, ничего с выравниванием ИИ сделать не смогут. И даже сам Юдковски супротив ASI не сдюжит, та его всё равно на скрепки переведёт ) В этом и корень его пессимизма - что ни делай, а сверхинтеллект не перехитришь. Поэтому конкретные политические конфигурации в этом вопросе, может быть (если исходить из пессимистического взгляда Юдковски), не так уж и важны: глобализм, не глобализм, гуманизм, не гуманизм, а всё одно ИИ съест наши души.

[Polnoch Ксю]

Но, хотя я пристально и не читал Юдковского со товарищи,

зря

мне кажется, основная их мысль, что никакие человеки, ни консерваторы, ни новаторы, ни даже сами лессронговцы, ничего с выравниванием ИИ сделать не смогут.

нет. Лессронг сообщество не луддиты. В лессронг сообществе топят именно за элайнмент, а не против AGI/ASI систем в принципе. Основная мысль - элайнмент скорее всего очень сложная задача.

И я с этим согласна - лучше перебдеть, чем недобдеть!

На пике - кусок лессронг вики

[Olweg]

Так а при чём тут луддизм? Может быть, я ошибаюсь, но пессимизм Юдковски произрастает из идеи принципиальной невозможности низшего разума контролировать высший. И весь рационализм последователей LessWrong тут не поможет, в силу биологических ограничений человеческого мозга.

[Polnoch Ксю]

принципиальной невозможности низшего разума контролировать высший. И весь рационализм последователей LessWrong тут не поможет, в силу биологических ограничений человеческого мозга.

не невозможность, а сложность. Мы умнее котиков, но мы в элайнменте к нашим гнездовым паразитам - пушистым наглецам.


Я считаю, нам нужно общество высокого доверия, чтобы в том числе заключить и соблюдать международное соглашение о запрете создания ASI-систем до момента решения проблемы элайнмента. Как только её решим - нужно педаль в пол и разработать как можно скорее, чтобы мы жили в утопии без болезней, смерти, нищеты и других несчастий

[Olweg]

не невозможность, а сложность. Мы умнее котиков, но мы в элайнменте к нашим гнездовым паразитам - пушистым наглецам.

Это случайно получилось. Кошки были полезны в борьбе с грызунами, а кроме того у них бинокулярное зрение, как и у людей, и плоская из-за этого морда, на которой эмоции отражаются почти как у людей. У собак зрение боковое, но они одомашнивались гораздо дольше. Случайный элайнмент. Ну может и нам повезёт.

[Polnoch Ксю]

Это случайно получилось. Кошки были полезны в борьбе с грызунами, а кроме того у них бинокулярное зрение, как и у людей, и плоская из-за этого морда, на которой эмоции отражаются почти как у людей. У собак зрение боковое, но они одомашнивались гораздо дольше. Случайный элайнмент. Ну может и нам повезёт.

Лучше не надеяться, а разобраться как это работает. Если бы мы были в таймлайне "продолженный мир 2011го года", я думаю, сейчас можно было бы обсуждать инспекции датацентров, цифровые подписи для серверных GPU/TPU, и проверки ML-нагрузок в гиперскейлерах непредвзятой инспекцией (будет NDA подписывать перед стартапами).
А потом - скажем, договориться всей планетой направить 1-2% ВВП на разработку элайнмента для ASI - приз получила бы компания-разработчик, ну или несколько команд, кто бы ещё математически доказал эти ML-алгоритмы.

В уже выбранном человечеством таймлайне такое невозможно, поэтому, ИМХО, мы все умрём, и с большой вероятностью мучительно.