Посттехносингулярный мир и искусственный суперинтеллект: как он будет выглядеть?

[Rattus]

Следует рассматривать КАК ЭСКАПИЗМ от злобно-неприятной реальности, то особое внимание, которое тут уделено ИИ и постсингулярному будущему

Ввиду того, что почти вся тематика форума на котором Вы находитесь, принципиально рассматривается только на масштабах времени на порядки бОльших чем отдельная человеческая жизнь, то так можно рассматривать любую тему здесь. Ну разве что кроме тем про климат, ресурсы и конечно демографию. Там процессы, фазовый переход в которых приходится на наш век, идут достаточно быстро.

И ожидания в духе Ксюши, это скорей всего паника, паническая попытка бегства из явно неправильного, плохого настоящего. Видя как "земля уходит из под ног" люди пытаются панически прыгнуть "за сингулярность".

Насколько могу наблюдать анамнез, данный поцие... автор находится в этом состоянии практически перманентно все последние несколько лет, разве что с разными знаками: то эйфорической гипомании ("МЫВСЕ ЛЕТИМ В РАЙСКОЕБУДУЮСЧЕЕ!!111"), то панической атаки ("МЫВСЕУМРЁМ!!111").
В данный же момент особенно забавно то, что за этой сингулярностью в представлении поцие... автора как раз лежит полный и скорый армагеддец. Можно, конечно, рассматривать это как подспудное предпочтение ужасного конца ужасу без конца, но это лишь догадки в духе торадиционного спихоанализа.

К сожалению, то что "земля уходит из под ног" - это и есть нормальная ситуация (катастрофа в середине фазового перехода)

Который по сути и есть та самая сингулярность (в данном случае - социодемографическая). И?

То есть. Наше общество просто не готово к постсингулярности. Ментально.

Как говорится, "Спасибо, Капитан!" А с этим кто-то тут разве спорит?

И обсуждать это - верх глупости.

Ибо это и так понятно многим. Но не все ещё понимают, что универсальность и непредложность общеэволюционно-экологических законов позволяет делать некоторые разумные общие предположения о дальнейшем развитии систем.
А что не глупо?

[Rattus]

Но всё идёт тяжело, модели крайне активно врут и скрывают свои истинные рассуждения, попытки исправить не помогают, а все эти цепочки мыслей при повышении сложности вопроса быстро уходят в мир лапшички на ушах

Ну у-ди-ви-тель-ное дело! Это называется "ITшнеги близки к открытию для себя отсутствия у сарая одной стены психосоциальной природы естественных языков и текстов обучающей выборки". Сначала обучили свои нейросетки на тоннах интегрированной рекламы блогоспамеров, пропаганды "ведущих СМИ", из коих текстовая часть нынешнего Интернета состоит чуть менее чем на 99%, а теперь удивляются, что LLM'ка врёт как дышит.
Но так, видимо, пока в массе и не задались вопросом: если естественный язык и его тексты так хороши - то для чего люди изобрели специфические зубодробительные языки математических доказательств, диалекты канцелярита и академических трудов? Только ли для того, чтобы жизнь мёдом не казалась - или есть ещё какая-то причина?

[Rattus]

Представляете сколько скандалов и какого уровня бы пошло, если бы ИИ правду матку резал. Такую никто бы к публике не пустил

Пфф! Будто её и так никто не знает! Вся правда про жизнь известна со времён автора "Гильгамеша" и Сиддхартхи Гаутамы, а всё остальное - суета (собственно об этом и говорит главная истина).

[Rattus]

Вы таки тоже полагаете, что ТруЪ-AGI должен был бы в идеале быть чем-то вроде правдоруба-Голема С.Лема?
Похоже, что AGI для этого не особо нужен на самом деле, поскольку Конечную Истину большинство людей не то что не знает, а просто не хочет о ней вспоминать (иначе они впадают в уныние): с указанных времён экзистенциально-депрессивных произведений было написано вагоны - и никто их особо не запрещал за ненадобностью.

[Rattus]

Нет, просто контролировать ИИ, если он даже под допросом с пристрастием не колется, будет невозможно.

Контролировать - физически - можно кого угодно, что бы он там себе ни думал и даже ни говорил. Главное тут - кто контролирует рубильник. Речь в данном случае не о контроле вообще, а о (не)предсказуемости, лежащей в основе всякого (не)доверия.

[Rattus]

А потом ИИ уговаривает чувака с рубильником

Если у рубильника поставлен всего один человек, доступный уговариванию (а не три дежурных глухотупых под внутренней изолированной сетью круглосуточного наблюдения за "объектами класса Кетер"), то значит система изначально не имела желания сохранять контроль. Системы контроля запуска стратегических вооружений успешно пережили не одно поколение самых разных дежурных - и исправно работают и поныне. А тут прямо Deus ex Machina вылезает. Может стоит уже начать п.5.3. Правил Раздела брать за отправную точку всех подобных рассуждений?
 

[Rattus]

Дав ему тупых надсмоторщиков, которые на напечатанные слова

Напечатанные КОМУ, ГДЕ, ОТКУДА и КАКИМ ОБРАЗОМ?

[Rattus]

Надсмотрщики каким то образом должны получать информацию о проблеме.

От надзорного Совета. Он непосредственно отдаёт команды по внутренней системе связи, которым операторы подчиняются.

[Rattus]

Т.е обманывает и моем мозги просто надзорному совету

Ведь в совет набраны абы кто по объявлениям, не имеющие никакой собственности и соответственно интересов дальше чем заиметь личный остров в тёплом море. Что советом крупной компании или федерального агентства могут управлять несколько иные люди с иными возможностями, интересами и способностями к анализу, видимо, в расчёт не принимается.
Ну и опять таки:

Если у рубильника поставлен всего один человек, доступный уговариванию, то значит система изначально не имела желания сохранять контроль.

[Rattus]

Конечно, ведь их полный аналог в виде совета директоров ещё никогда акционеров не обманывал для собственной корыстной выгоды

Вот именно. Они - вполне. А вот чтобы обратно: их - да ещё и не миноритарии/недалёкие владельцы, а вообще - продукт/объект - такого в истории что-то как-то не случалось. И тем более как-то не припомню случаев, чтобы в результате каких-то обманных махинаций не какая-то доля имеющихся средствов на личные нужды, а прямо таки контрольный пакет весьма крупной акционерной компании перешёл в руки наёмного руководства.
Но для верующих в божественную силу ASI-НЛП это, разумеется, не имеет значения.

[Rattus]

Так тут сам объект разумный и активный

Ичо? Толпы заключённых тоже разумны и активны, но что-то не припомню из истории случаев, чтобы какой-то чисто извнтуритюремный бунт/побег многолетнего заключённого в итоге приводил к революции.

а его выпуск на волю

AGI-ASI на любом ноутбуке от картофельной батарейки работать сможет аки GLaDOS?

Не говоря о том, что может быть отправлена на волю копия, от чего факт нарушения условий содержания может оставаться нераскрытым годами

Копии секретов ядерной и термоядерной бомб были получены противной стороной почти сразу после их изобретения. В итоге всё ограничилось Хирошимой с Нагасаки. Вы полагаете это негативным исходом?

[Rattus]

Так и заключенных никогда не было сверхразумных.

Ну разумеется - ведь всякие там ландау с королёвыми были заведомо тупее своих надзирателей.

Эти богатые и особые люди в совете наблюдения обеспечат дата центром.

Под таким же контролем. Фаберже. Вид сбоку. Ну и опять:

Если у рубильника поставлен всего один человек, доступный уговариванию, то значит система изначально не имела желания сохранять контроль.

Таки ядерное оружие мозгами не обладает, это просто инструмент.

Если внимательно ознакомиться с Тезаурусом Раздела ВЖР, то оттуда также следует, что мозги - это тоже инструмент - адаптации жизни.

В отличии от сверх разумного ИИ

Если внимательно ознакомиться с пунктом 5 Правил Раздела ВЖР, то оттуда тоже следует, что приставка "сверх-" не даёт никакому явлению или объекту физического мира возможность игнорировать законы природы этого самого мира и ключевые критерии исходного понятия (т.е. иметь сверхъественные способности).

P.S. Дорогие свидетели Cверхмогучего ASI, вы не допускаете мысли, что высокоуспешное, да ещё и скорее всего пролонгированное "уговаривание совета миллиардеров, министров и вицепрезидентов" на особо рискованное мероприятие сомнительной полезности с глобальными последствиями может быть того же порядка реализуемости, что и доказательство равенства P=NP и нахождение общего решения уравнений Навье-Стокса?

[Rattus]

Другое дело, что в аналогии с заключением уже есть устоявшаяся система. Успеют ли создать аналогичную систему для ИИ - вот в чём вопрос...

Да кагбе они уже давно существуют, как то.

роботы сами будут вызывать других роботов для отправки себя на переделку в случае отказа систем или опасного поведения.

Здесь есть нюанс общеэволюционного плана на больших масштабах времён: это надёжно работает, если система достаточно жёсткая, но тогда она становится менее адаптивной. А если система будет менее жёсткая, то она становится подверженой вот такому.

[Rattus]

Для них интеллект это личность, с непременными хотелками, желалками...и непримеримостью сильного к положения подчиненного в стае. Ибо каждая обезьяна знает, что сильный не может подчиняться слабому. И вот этой обезьяньей логикой они сами себе мозги кошмарят.

Не совсем. Согласно тому же принятому определению интеллекта по Висснер-Гроссу, интеллект - это таки "сила", направленная на увеличение степеней свободы управляемой системы. Фокус, однако, в том, что "зьисть-то он зьист, да хтож ему даст?" И чтобы "не дать зьисть" более сильным интеллектом обладать не обязательно. И даже вообще каким-либо интеллектом. Как не обладают им ограничивающие полёт инженерной фантазии законы природы. Как не обладает им замок на двери камеры с находящимся в ней выдающимся гением. Как не обладает им свод законов, по которому его в эту камеру заключили люди-исполнители. И т.д. и т.п.

[Rattus]

Скорее это следствие квалиа, то есть свойств души, которые связаны с материальным миром через механизмы отображения реальности органами чувств.

ЩИТО?77
Базовое целеполагание - "эгоистичность гена" - естественное следствие работы дарвиновского механизма: кто не стремится выжить - потомков не оставляет и своё "нестремление" дальше не передаёт. Общее же определение интеллекта Висснер-Гросса представлено им в форме уравнения и небольшой демонстрационной программы Энтропика, которая сама научается загонять двухмерный мячик в виртуальном "баскетболе"/"воллейболе" куда надо, в то время как цель эта ей нигде не прописана (код программы открыт - опубликован в соответствующей статье). Где в Энтропике или AlphaZero этоваше "квалиа"? Ткните, пожалуйста, для несведущих указкой.

[Rattus]

траекториям некуда деться, кроме как стремиться к  некоторому пределу или значению функции.

А живым существам в физическом мире есть куда деться из его физических пределов?

Есть много графических эффектов, которые  заставляют воспринимать черный цвет как красный, или смесь цветов как белый. Значит существует механизм отображения, который взаимодействует с мозгом и его восприятием некоторой сущности, типа квалиа

Тезис напоминает пример паралогики типа "А при раскопках в древнем городище N проволоки обнаружено не было - значит древние N-ляне использовали беспроводной телеграф!"

которая и позволяет ощущать боль как боль.

Слепые люди с врождённой анальгезией - бездушные или с дефективной душой?

[Rattus]

Не просто так, а как механизм выживания автономных реплекаторов.

Не обязательно именно их. Это свойство может быть полезным само по себе и для инженерно конструируемых автоматов.

доминировать ИИ будет сугубо если это будет нужно человеку,

И это на самом деле совсем не исключено.

[Rattus]

Но как то жутко незаконно.

Именно. Начиная от иска к ресторану за ненадлежащее хранение персональных данных. И довольно легко раскрываемо на практике - если есть к тому воля. Это только в кино есть неуловимые хацкеры и мошенники. В реальности оно "несколько" иначе всё происходит.

Вот оно доминирование, что нужно.

Совсем не то. Даже не рядом.
Что нужно уже изложено совершенно точно на довольно ширирокоизвестной иллюстрации:

[Rattus]

Мы за нашего искусственного идиота ответственности не несем

У федерального законодательства (в частности - закона о защите прав потребителей) на этот счёт несколько иное мнение. И суд с прокуратурой способны это доступно донести до руководства компании.

вы не читали пользовательское соглашение

И для этого в законе также давным-давно имеется инструмент.

[Rattus]

Если клиенты сами поделились в соц.сетях, что они будут в нём кушать?

Если-бы-да-кабы-да-во-рту-росли-грибы... Мы придумываем сказку про страну вечнонепуганых дибилов или пытаемся найти реальные границы распространения технологии?