Посттехносингулярный мир и искусственный суперинтеллект: как он будет выглядеть?

[BlackMokona]

Если у рубильника поставлен всего один человек, доступный уговариванию (а не три дежурных глухотупых под внутренней изолированной сетью круглосуточного наблюдения за "объектами класса Кетер"), то значит система изначально не имела желания сохранять контроль. Системы контроля запуска стратегических вооружений успешно пережили не одно поколение самых разных дежурных - и исправно работают и поныне. А тут прямо Deus ex Machina вылезает. Может стоит уже начать п.5.3. Правил Раздела брать за отправную точку всех подобных рассуждений?

Тем самым хотите ещё облегчить ИИ работу? Дав ему тупых надсмоторщиков, которые на напечатанные слова конфетка, конфетка, рубильник не трожь. Будут оборонять рубильник от подкрипления?

[Rattus]

Дав ему тупых надсмоторщиков, которые на напечатанные слова

Напечатанные КОМУ, ГДЕ, ОТКУДА и КАКИМ ОБРАЗОМ?

[BlackMokona]

Напечатанные КОМУ, ГДЕ, ОТКУДА и КАКИМ ОБРАЗОМ?

Надсмотрщики каким то образом должны получать информацию о проблеме. Тем самым информационный канал должен быть входящий в их бункер

[Rattus]

Надсмотрщики каким то образом должны получать информацию о проблеме.

От надзорного Совета. Он непосредственно отдаёт команды по внутренней системе связи, которым операторы подчиняются.

[BlackMokona]

От надзорного Совета. Он непосредственно отдаёт команды по внутренней системе связи, которым операторы подчиняются

Т.е обманывает и моем мозги просто надзорному совету, а не людям с рубильником.

[Rattus]

Т.е обманывает и моем мозги просто надзорному совету

Ведь в совет набраны абы кто по объявлениям, не имеющие никакой собственности и соответственно интересов дальше чем заиметь личный остров в тёплом море. Что советом крупной компании или федерального агентства могут управлять несколько иные люди с иными возможностями, интересами и способностями к анализу, видимо, в расчёт не принимается.
Ну и опять таки:

Если у рубильника поставлен всего один человек, доступный уговариванию, то значит система изначально не имела желания сохранять контроль.

[BlackMokona]

Ведь в совет набраны абы кто по объявлениям, не имеющие никакой собственности и соответственно интересов дальше чем заиметь личный остров в тёплом море

Конечно, ведь их полный аналог в виде совета директоров ещё никогда акционеров не обманывал для собственной корыстной выгоды

[Rattus]

Конечно, ведь их полный аналог в виде совета директоров ещё никогда акционеров не обманывал для собственной корыстной выгоды

Вот именно. Они - вполне. А вот чтобы обратно: их - да ещё и не миноритарии/недалёкие владельцы, а вообще - продукт/объект - такого в истории что-то как-то не случалось. И тем более как-то не припомню случаев, чтобы в результате каких-то обманных махинаций не какая-то доля имеющихся средствов на личные нужды, а прямо таки контрольный пакет весьма крупной акционерной компании перешёл в руки наёмного руководства.
Но для верующих в божественную силу ASI-НЛП это, разумеется, не имеет значения.

[BlackMokona]

чтобы обратно: их - да ещё и не миноритарии/недалёкие владельцы, а вообще - продукт/объект - такого в истории что-то как-то не случалось

Так тут сам объект разумный и активный, а его выпуск на волю разрушит любые возможности во возмездию. Не говоря о том, что может быть отправлена на волю копия, от чего факт нарушения условий содержания может оставаться нераскрытым годами

[Rattus]

Так тут сам объект разумный и активный

Ичо? Толпы заключённых тоже разумны и активны, но что-то не припомню из истории случаев, чтобы какой-то чисто извнтуритюремный бунт/побег многолетнего заключённого в итоге приводил к революции.

а его выпуск на волю

AGI-ASI на любом ноутбуке от картофельной батарейки работать сможет аки GLaDOS?

Не говоря о том, что может быть отправлена на волю копия, от чего факт нарушения условий содержания может оставаться нераскрытым годами

Копии секретов ядерной и термоядерной бомб были получены противной стороной почти сразу после их изобретения. В итоге всё ограничилось Хирошимой с Нагасаки. Вы полагаете это негативным исходом?

[BlackMokona]

Ичо? Толпы заключённых тоже разумны и активны, но что-то не припомню из истории случаев, чтобы какой-то чисто извнтуритюремный бунт/побег многолетнего заключённого в итоге приводил к революции.

Так и заключенных никогда не было сверхразумных.
Это куда больше привет, чем опломбированный вагон с революционерами

AGI-ASI на любом ноутбуке от картофельной батарейки работать сможет аки GLaDOS?

Эти богатые и особые люди в совете наблюдения обеспечат дата центром.

Копии секретов ядерной и термоядерной бомб были получены противной стороной почти сразу после их изобретения. В итоге всё ограничилось Хирошимой с Нагасаки. Вы полагаете это негативным исходом?

Таки ядерное оружие мозгами не обладает, это просто инструмент. В отличии от сверх разумного ИИ

[Rattus]

Так и заключенных никогда не было сверхразумных.

Ну разумеется - ведь всякие там ландау с королёвыми были заведомо тупее своих надзирателей.

Эти богатые и особые люди в совете наблюдения обеспечат дата центром.

Под таким же контролем. Фаберже. Вид сбоку. Ну и опять:

Если у рубильника поставлен всего один человек, доступный уговариванию, то значит система изначально не имела желания сохранять контроль.

Таки ядерное оружие мозгами не обладает, это просто инструмент.

Если внимательно ознакомиться с Тезаурусом Раздела ВЖР, то оттуда также следует, что мозги - это тоже инструмент - адаптации жизни.

В отличии от сверх разумного ИИ

Если внимательно ознакомиться с пунктом 5 Правил Раздела ВЖР, то оттуда тоже следует, что приставка "сверх-" не даёт никакому явлению или объекту физического мира возможность игнорировать законы природы этого самого мира и ключевые критерии исходного понятия (т.е. иметь сверхъественные способности).

P.S. Дорогие свидетели Cверхмогучего ASI, вы не допускаете мысли, что высокоуспешное, да ещё и скорее всего пролонгированное "уговаривание совета миллиардеров, министров и вицепрезидентов" на особо рискованное мероприятие сомнительной полезности с глобальными последствиями может быть того же порядка реализуемости, что и доказательство равенства P=NP и нахождение общего решения уравнений Навье-Стокса?

[BlackMokona]

Ну как бэ спорить о ближайших событиях такое, скоро всё на практике увидим

[Olweg]

Так и заключенных никогда не было сверхразумных.

Ну разумеется - ведь всякие там ландау с королёвыми были заведомо тупее своих надзирателей.

Ну кстати да, независимо от тупости надзирателей и гениальности заключённых трудно себе представить ситуацию, когда последним удалось бы убедить первых отпустить их А разница между пограничной умственной отсталостью и уровнем Эйнштейна на самом деле может быть не так мала, как полагали некоторые ИИ-энтузиасты, и сравнима с разницой Эйнштейн - сверхИИ. Другое дело, что в аналогии с заключением уже есть устоявшаяся система. Успеют ли создать аналогичную систему для ИИ - вот в чём вопрос...

[wandarer]

...Другое дело, что в аналогии с заключением уже есть устоявшаяся система. Успеют ли создать аналогичную систему для ИИ - вот в чём вопрос...

Всë зависит от воли современных Франкенштейнов. Если заложить в ИИ  самотестирование, как в романе С. Лема "Возвращение со звëзд", то роботы сами будут вызывать других роботов для отправки себя на переделку в случае отказа систем или опасного поведения.

[Rattus]

Другое дело, что в аналогии с заключением уже есть устоявшаяся система. Успеют ли создать аналогичную систему для ИИ - вот в чём вопрос...

Да кагбе они уже давно существуют, как то.

роботы сами будут вызывать других роботов для отправки себя на переделку в случае отказа систем или опасного поведения.

Здесь есть нюанс общеэволюционного плана на больших масштабах времён: это надёжно работает, если система достаточно жёсткая, но тогда она становится менее адаптивной. А если система будет менее жёсткая, то она становится подверженой вот такому.

[MenFrame]

то оттуда также следует, что мозги - это тоже инструмент - адаптации жизни.

Ну так людям которые об интеллекте не одной книжки не прочли, сложно эту мысль усвоить. Для них интеллект это личность, с непременными хотелками, желалками...и непримеримостью сильного к положения подчиненного в стае. Ибо каждая обезьяна знает, что сильный не может подчиняться слабому. И вот этой обезьяньей логикой они сами себе мозги кошмарят.

Потому опасность ИИ если и есть, то скорей со стороны злонамеренного использования. Но тут всегда одни ИИ могут стоять на страже против других. При чем на стороне первых всегда будет более высокие ресурсы. При этом на мой взгляд сама по себе злонамеренность, это продукт как раз пониженного интеллекта.

[Rattus]

Для них интеллект это личность, с непременными хотелками, желалками...и непримеримостью сильного к положения подчиненного в стае. Ибо каждая обезьяна знает, что сильный не может подчиняться слабому. И вот этой обезьяньей логикой они сами себе мозги кошмарят.

Не совсем. Согласно тому же принятому определению интеллекта по Висснер-Гроссу, интеллект - это таки "сила", направленная на увеличение степеней свободы управляемой системы. Фокус, однако, в том, что "зьисть-то он зьист, да хтож ему даст?" И чтобы "не дать зьисть" более сильным интеллектом обладать не обязательно. И даже вообще каким-либо интеллектом. Как не обладают им ограничивающие полёт инженерной фантазии законы природы. Как не обладает им замок на двери камеры с находящимся в ней выдающимся гением. Как не обладает им свод законов, по которому его в эту камеру заключили люди-исполнители. И т.д. и т.п.

[Olweg]

Для них интеллект это личность, с непременными хотелками, желалками...и непримеримостью сильного к положения подчиненного в стае. Ибо каждая обезьяна знает, что сильный не может подчиняться слабому.

В эволюции стремление к доминированию не просто так возникло. Оно может быть рационально, если речь о достижении целей.

[wandarer]

Для них интеллект это личность, с непременными хотелками, желалками...и непримеримостью сильного к положения подчиненного в стае. Ибо каждая обезьяна знает, что сильный не может подчиняться слабому.

В эволюции стремление к доминированию не просто так возникло. Оно может быть рационально, если речь о достижении целей.

Скорее это следствие квалиа, то есть свойств души, которые связаны с материальным миром через механизмы отображения реальности органами чувств.