Посттехносингулярный мир и искусственный суперинтеллект: как он будет выглядеть?

[vika vorobyeva]

AlexDark, Metatron, вы, наверно, очень молодые люди и не сдавали историю КПСС и не читали 3 тома воспоминаний о Ленине А я читала. Тактика создания конспиративных террористических групп была отлажена еще полтора столетия назад.
Боевик не знает главаря, он знает только членов своей тройки (пятерки). Руководитель ячейки знает 3-5 руководителей того же уровня, и то очень ограниченно, и опять-таки не знает главаря. Вместо имен ники/клички, есть система кодов на случай провала. Пока пойманную "шестерку" пытают в подвалах царской охранки, остальные меняют конспиративные квартиры, ложатся на дно.
И это если вы осознанно являетесь членом банды, а ведь еще людей можно использовать втемную.

Насчет того, что главаря быстро вычислят и закроют. Да я вас умоляю! Пабло Эскобар управлял своей кокаиновой империей два десятилетия, и никто с ним ничего не мог сделать, ни власти, ни конкуренты. О том, что картелем управляет ИИ, может знать только самая верхушка. ИИ может сделать себе человеческую личину: уже сейчас лица, сгенерированные нейросеткой, неотличимы от реальных, и голоса получаются нормальные человеческие. ИИ будет говорить с вами по видеосвязи, а вам и в голову не придет, что этого человека не существует. Вы будете получать задания, выполнять их, получать за это деньги – но не увидите полной картины и даже не заподозрите, в каком именно многослойном замысле участвуете.
ИИ может собирать компромат, подкупать чиновников, устранять неугодных, организуя несчастные случаи, синтезировать новые наркотики (а люди в лабораториях будут их синтезировать), он будет знать, какие технологии "выстрелят" и поддерживать их или наоборот тормозить. Конечно, он прекрасный юрист.
В общем, отсутствие физического тела – совершенно не помеха, пока есть люди, готовые работать за бабло, а также за страх и за совесть.

[vika vorobyeva]

Язык это чудо и трагедия одновременно. Он дал людям возможность строить цивилизации, передавать знания, создавать культуру, и в то же время стал фильтром, искажающим саму суть мысли. Между сознанием и словом всегда есть разрыв, семантический зазор. Любая идея, прежде чем быть высказанной, теряет часть своей смысловой плотности - сжимается, деформируется, упрощается.

Из-за этого в человеческом общении постоянно возникают конфликты: не потому что люди злые, а потому что их сознания не могут резонировать напрямую. Даже добрые, разумные собеседники натыкаются на границы языка. Мы слышим не то, что нам хотят сказать, а то, что можем понять, исходя из собственного опыта.

Далеко не всегда причина конфликтов – взаимное непонимание. Довольно часто бывает, что в основе конфликта – неустранимые противоречия. Вы не можете придти к согласию, потому что стоите на разных ценностных платформах. Например, ваш контрагент может желать вас уничтожить, потому что вы оскорбляете его самим фактом своего существования. Ваши основные ценности несовместимы с его ценностями, в его картине мира вас быть не должно.
Я поняла это очень рано, еще в подростковом возрасте, в процессе жарких споров со своим старшим родственником-сталинистом. Точка зрения собеседника может быть кристалльно ясна, но вы с ним никогда не согласитесь.

Так что рисуемая вами картина утопична.

[vika vorobyeva]

Во-первых, наказуемо деяние, а не агрессивность сама по себе. Никто никого упаковывать не будет
Во-вторых, нейрочипы принципиально добровольная штука.

Это в идеале. В прекрасном совершенном мире, где ИИ любит людей, никогда не ошибается, его понимание блага совпадает с человеческим (и даже конкретно с пониманием блага вот этого конкретного пользователя, потому что у всех понимание блага разное), и его стратегические цели не подчинены всецело верхушке правящего класса.
В противном случае вы рисуете чудовищную антиутопию, где ты не свободен даже в пределах собственной головы.

Вы опять скажете про невозможность взломать блокчейн. А я скажу, что для меня это абракадабра и китайская грамота. Я не отличу "правильный" блокчейн от его имитации, сливающей все мои личные данные (и даже мысли, раз уж у нас нейро-интерфейс) людям, для которых я в лучшем случае ресурс.

По поводу добровольности. Формально у нас и с ношением смартфона полная добровольность, вот только многие сервисы привязаны к смартфону и работают только с ним. У моей мамы, например, кнопочный телефон, компьютера нет, интернету она категорически не доверяет, боится мошенников. Так что запись к врачу и на анализы, оплату коммуналки и налогов, и пр. для нее делаю я. Не будь меня, не знаю, как бы она крутилась
Что мешает максимально затруднить жизнь отказавшимся от нейро-интерфейса? Типа, раз скрывает свои мысли, значит, есть что скрывать?

Upd Как мы однако синхронно...

[vika vorobyeva]

Поговорку "Закон – что дышло" придумали не в одной из африканских деспотий, увы.
На этом прекращаю дозволенные речи.

[vika vorobyeva]

Однако есть злые люди, наделенные властью. Люди с темной триадой, те, про которых Пушкин писал "двуногих тварей миллионы для нас орудие одно". И у каждого из них тоже будет свой ASI. И, как не раз говорилось в этой теме, кооперация из теории игр однозначно не выводится, эгоистичные стратегии тоже приводят к успеху.
Откуда следует, что с помощью личного ASI внутривидовая борьба просто не выйдет на новый уровень?
А в битве между двумя ASI тот, кто будет ограничен своим стремлением беречь людей и не причинять им вреда, при прочих равных проиграет тому, кто ничем не будет ограничен.