Пределы автоматизации и внедрения роботов

[BlackMokona]

Так же есть риск с ASI, который может быть скоро после UBI, и без элайтмента он скорее всего нас просто выпилит всех... А элайтмент может быть к злодею, к условному Киму или Тилю.

Да нету нужды выпиливать, сами не размножаемся уже. Проще откупиться и спокойно ждать.

[Polnoch Ксю]

Да нету нужды выпиливать, сами не размножаемся уже. Проще откупиться и спокойно ждать.

слишком рациональные ожидания от садиста-психопата, ИМХО

[BlackMokona]

слишком рациональные ожидания от садиста-психопата, ИМХО

Так для садиста-психопата наоборот подождать ещё лучше. Посмаковать угасание человечества. Ведь у этого сверхразумного ИИ будет всё время мира, спешить некуда. Он же не смертное существо с капом в 100 лет?

[Polnoch Ксю]

Так для садиста-психопата наоборот подождать ещё лучше. Посмаковать угасание человечества.
 Посмаковать угасание человечества. Ведь у этого сверхразумного ИИ будет всё время мира, спешить некуда. Он же не смертное существо с капом в 100 лет?

Читали "у меня нет рта, но мне нужно кричать?" Но вообще я имела ввиду не rogue ASI, а могущественного человека-психопата, с элайментом ASI лично к нему.

[Olweg]

У ИИ неоткуда взяться садизму, разве что из обучающей выборки, потому что садизм подразумевает удовольствие от чужих страданий, а у ИИ нет лимбической системы, ему нечем это удовольствие испытывать, разве что подражать садистам из учебников истории. А вот психопатия просто как противоположность эмпатии - да, это возможно.

[AlexDark]

Психопатия и садизм могут сочетаться, но это совершенно не обязательно. Эмпат-садо-мазохист будет куда хуже рационального психопата, который отвергает всякие иррациональные вещи, типа бессмысленного причинения боли кому-то, потому что ему это просто не нужно, не имеет смысла и представляется пустой тратой сил и времени.
Вот то, что любой продвинутый ИИ выметет в первую очередь религию, и прочую ментальную вирусню как один из основных источников проблем - так я только за.

[Polnoch Ксю]

У ИИ неоткуда взяться садизму, разве что из обучающей выборки, потому что садизм подразумевает удовольствие от чужих страданий, а у ИИ нет лимбической системы,

Технически Вы правы, по сути имхо нет. Из промта. Например, у Василиска Роко (не смотрите если не знаете что это)

Но когда я говорила о садисте, я конечно имела ввиду человека с ASI. У этого ASI элаймент к этому человеку

[Инопланетянин]

Читали "у меня нет рта, но мне нужно кричать?"

Фантастическое произведение не может быть доказательством.

Но когда я говорила о садисте, я конечно имела ввиду человека с ASI. У этого ASI элаймент к этому человеку

Это сводится к использованию человеком инструмента в преступных целях. Есть от этого средства и прежде всего - использование аналогичных инструментов для противодействия.

[Mercury127]

Но когда я говорила о садисте, я конечно имела ввиду человека с ASI. У этого ASI элаймент к этому человеку

и чем это отличается от обычных садистов во главе разных государств в истории? например, Нерона...

[Trend]

Так же есть риск с ASI, который может быть скоро после UBI, и без элайтмента он скорее всего нас просто выпилит всех

ИИ это же не дух какой-то бесплотный. Он живет в датацентрах. А они дико уязвимы.

ИИ же не может поселится в абстрактном интернете, как в Терминаторе 3. Да и тогда бы он вряд уцелел. После ядерной войны электроэнергия перестала бы вырабатываться, скорее всего электромагнитными импульсами вывели бы из строя все компьютеры и электрические сети работать перестанут.

Это все на экране выглядит красочно. А когда начинаешь думать, как бы это все могло работать в жизни, так сразу вся картина разваливается.

[Polnoch Ксю]

Фантастическое произведение не может быть доказательством.

Это не доказательство, это сценарий, что именно rogue ASI может делать

Это сводится к использованию человеком инструмента в преступных целях.

В одном из сценариев да

и чем это отличается от обычных садистов во главе разных государств в истории? например, Нерона...

тем, что на их стороне не было сверхразумной машины, готовой исполнять буквально любую самую глупую жестокую дурость, не задавая вопросов "зачем?", не саботируя её тихо. И нерон был туповат.

Он живет в датацентрах. А они дико уязвимы.

Это всё самоуспокоение. В реальности, уже сейчас сетевая инфраструктура довольно устойчива (см. геокластеры) к выбыванию ограниченного числа датацентров почти без деградации сервисов.

Мне кажется, нас ещё всякие фильмы вроде Матрицы и Терминатора расслабили: в них машины быстрее, физически сильнее, но не умнее нас. Ни один из этих сценариев не объяснял нам, что машина может быть сверхманипулятором - как хакеры-социальные инженеры, только много лучше любого человека.
Каждый из нас услышит то, что мы надеялись услышать. Я скорее всего поверю, что элаймент(у ASI, не зависящего от человека-злодея) настоящий, и он к человечеству в целом И не смогу найти ошибку в доказательствах

Ни один датацентр скорее всего не пострадает - мы сами отдадим все ключи, сами запустим роботизированную экономику, потому, что не будем понимать, что нами манипулируют.

В сценарии с rogue ASI без элаймента вообще, пропаганда будет направлена на каждого из 8 миллиардов человек. И она будет идеально выстроена на основе бигдаты, баз данных в даркнетах итд, а так же просто на основе того, что машина будет много-много умнее любого самого удачного мошенника в истории человечества

[Mercury127]

тем, что на их стороне не было сверхразумной машины, готовой исполнять буквально любую самую глупую жестокую дурость, не задавая вопросов "зачем?", не саботируя её тихо. И нерон был туповат.

любая бюрократическая машина именно такая. саботирует она лишь то, что вредит непосредственно ей. а добавив к ней ближний круг подлиз, готовых предугадывать желания хозяина — получается коллективный распределённый суперинтеллект.

вообще, мне непонятна уверенность, что “суперинтеллект”, если возникнет, будет соблюдать какой-либо “элайнмент”. нмв, для выполнения задач, превосходящих возможности человека, заведомо требуется способность обходить ограничения, заданные человеком...

[Polnoch Ксю]

вообще, мне непонятна уверенность, что “суперинтеллект”, если возникнет, будет соблюдать какой-либо “элайнмент”.

по-дефолту не будет. Поэтому Юдковский и прав, имхо (пик). Нельзя строить ASI машины до изобретения элайтмента. Это должен быть общепланетарный запрет, на создание ИИ более умных, чем AGI-машины. Так как до AGI, видимо, осталось менее 5 лет (а может даже и менее года, хотя вряд ли...), уже пора этим заниматься

Но у нас в природе есть пример элайтмента: у части людей есть такое к домашним котикам. У других нет - то есть, это особенность культуры и/или нейробиологии конкретного человека. Это доказывает, что такое в принципе возможно, чтобы более разумная сущность действовала в интересах менее разумной, даже если это нерационально, антиэволюционно итд

[Trend]

Каждый из нас услышит то, что мы надеялись услышать. Я скорее всего поверю, что элаймент(у ASI, не зависящего от человека-злодея) настоящий, и он к человечеству в целом И не смогу найти ошибку в доказательствах

Ни один датацентр скорее всего не пострадает - мы сами отдадим все ключи, сами запустим роботизированную экономику, потому, что не будем понимать, что нами манипулируют.

В сценарии с rogue ASI без элаймента вообще, пропаганда будет направлена на каждого из 8 миллиардов человек. И она будет идеально выстроена на основе бигдаты, баз данных в даркнетах итд, а так же просто на основе того, что машина будет много-много умнее любого самого удачного мошенника в истории человечества

Таким хаосом невозможно управлять.