Посттехносингулярный мир и искусственный суперинтеллект: как он будет выглядеть?

[Rattus]

Скорее это следствие квалиа, то есть свойств души, которые связаны с материальным миром через механизмы отображения реальности органами чувств.

ЩИТО?77
Базовое целеполагание - "эгоистичность гена" - естественное следствие работы дарвиновского механизма: кто не стремится выжить - потомков не оставляет и своё "нестремление" дальше не передаёт. Общее же определение интеллекта Висснер-Гросса представлено им в форме уравнения и небольшой демонстрационной программы Энтропика, которая сама научается загонять двухмерный мячик в виртуальном "баскетболе"/"воллейболе" куда надо, в то время как цель эта ей нигде не прописана (код программы открыт - опубликован в соответствующей статье). Где в Энтропике или AlphaZero этоваше "квалиа"? Ткните, пожалуйста, для несведущих указкой.

[wandarer]

Скорее это следствие квалиа, то есть свойств души, которые связаны с материальным миром через механизмы отображения реальности органами чувств.

ЩИТО?77
Базовое целеполагание - "эгоистичность гена" - естественное следствие работы дарвиновского механизма: кто не стремится выжить - потомков не оставляет и своё "нестремление" дальше не передаёт. Общее же определение интеллекта Висснер-Гросса представлено им в форме уравнения и небольшой демонстрационной программы Энтропика, которая сама научается загонять двухмерный мячик в виртуальном "баскетболе"/"воллейболе" куда надо, в то время как цель эта ей нигде не прописана (код программы открыт - опубликован в соответствующей статье). Где в Энтропике или AlphaZero этоваше "квалиа"? Ткните, пожалуйста, для несведущих указкой.

Граничные условия - уже во многих случаях определяют  "целеполагание", траекториям некуда деться, кроме как стремиться к  некоторому пределу или значению функции. Есть много графических эффектов, которые  заставляют воспринимать черный цвет как красный, или смесь цветов как белый. Значит существует механизм отображения, который взаимодействует с мозгом и его восприятием некоторой сущности, типа квалиа, которая и позволяет ощущать боль как боль. Хотя, конечно, здесь тоже необходимо обучение. Поэтому зависть может быть побудительным мотивом доминирования.

[Rattus]

траекториям некуда деться, кроме как стремиться к  некоторому пределу или значению функции.

А живым существам в физическом мире есть куда деться из его физических пределов?

Есть много графических эффектов, которые  заставляют воспринимать черный цвет как красный, или смесь цветов как белый. Значит существует механизм отображения, который взаимодействует с мозгом и его восприятием некоторой сущности, типа квалиа

Тезис напоминает пример паралогики типа "А при раскопках в древнем городище N проволоки обнаружено не было - значит древние N-ляне использовали беспроводной телеграф!"

которая и позволяет ощущать боль как боль.

Слепые люди с врождённой анальгезией - бездушные или с дефективной душой?

[MenFrame]

В эволюции стремление к доминированию не просто так возникло.

Не просто так, а как механизм выживания автономных реплекаторов.

Оно может быть рационально, если речь о достижении целей.

У ИИ цель одна...Служить человеку. Потому доминировать ИИ будет сугубо если это будет нужно человеку,

[BlackMokona]

У ИИ цель одна...Служить человеку. Потому доминировать ИИ будет сугубо если это будет нужно человеку,

Это у какого ИИ такая цель? 

[MenFrame]

Это у какого ИИ такая цель? 

Это обобщение. Под которым стоит понимать что любой создаваемый инструмент, создаеться с цель выполнения задач нужных человеку.

[Olweg]

У ИИ цель одна...Служить человеку. Потому доминировать ИИ будет сугубо если это будет нужно человеку,

Цель ИИ - выполнять возложенные на него человеком задачи. Какие именно промежуточные цели он при этом для себя выведет - дело тёмное, в чём убеждаются современные исследователи искусственных мозгов.

[BlackMokona]

Это обобщение. Под которым стоит понимать что любой создаваемый инструмент, создаеться с цель выполнения задач нужных человеку.

Только вот фактически задачи звучат совершенно иначе. Например предсказывать следующий токен, минимизировать потребление энергии и тд.
От чего многое меняется.

[Rattus]

Не просто так, а как механизм выживания автономных реплекаторов.

Не обязательно именно их. Это свойство может быть полезным само по себе и для инженерно конструируемых автоматов.

доминировать ИИ будет сугубо если это будет нужно человеку,

И это на самом деле совсем не исключено.

[BlackMokona]

И это на самом деле совсем не исключено.

И тут ситуация.
Джарвис закажи столик на двоих в моём любимом ресторане. Это очень важно, ведь я хочу сделать своей девушке предложение.
ИИ обнаруживает, что все места заняты. Поэтому находит другую парочку которая заказала столик. Скопировав их голос отказывается от столика позвонив в ресторан. А потом перед отправкой в ресторан устраивает им приезд отряда полиции, позвонив в правоохранительные органы. Чтобы точно та парочка не помешала важному делу.
Вот оно доминирование, что нужно. Но как то жутко незаконно. И ведь мог и убить. 

[Rattus]

Но как то жутко незаконно.

Именно. Начиная от иска к ресторану за ненадлежащее хранение персональных данных. И довольно легко раскрываемо на практике - если есть к тому воля. Это только в кино есть неуловимые хацкеры и мошенники. В реальности оно "несколько" иначе всё происходит.

Вот оно доминирование, что нужно.

Совсем не то. Даже не рядом.
Что нужно уже изложено совершенно точно на довольно ширирокоизвестной иллюстрации:

[AlexDark]

Это только в кино есть неуловимые хацкеры и мошенники. В реальности оно "несколько" иначе всё происходит.

Только вам в итоге скажкт: "Мы за нашего искусственного идиота ответственности не несем, компухтер показал, вы не читали пользовательское соглашение" и тд до бесконечности.

[Rattus]

Мы за нашего искусственного идиота ответственности не несем

У федерального законодательства (в частности - закона о защите прав потребителей) на этот счёт несколько иное мнение. И суд с прокуратурой способны это доступно донести до руководства компании.

вы не читали пользовательское соглашение

И для этого в законе также давным-давно имеется инструмент.

[vika vorobyeva]

У ИИ цель одна...Служить человеку.

И мы даже знаем имя этого человека(с)

[BlackMokona]

Именно. Начиная от иска к ресторану за ненадлежащее хранение персональных данных. И довольно легко раскрываемо на практике - если есть к тому воля. Это только в кино есть неуловимые хацкеры и мошенники. В реальности оно "несколько" иначе всё происходит.

А причём тут ресторан? Если клиенты сами поделились в соц.сетях, что они будут в нём кушать?

[Rattus]

Если клиенты сами поделились в соц.сетях, что они будут в нём кушать?

Если-бы-да-кабы-да-во-рту-росли-грибы... Мы придумываем сказку про страну вечнонепуганых дибилов или пытаемся найти реальные границы распространения технологии?

[BlackMokona]

Если-бы-да-кабы-да-во-рту-росли-грибы... Мы придумываем сказку про страну вечнонепуганых дибилов или пытаемся найти реальные границы распространения технологии?

Так это было положено в мой вариант и это абсолютно нормальная ситуация. Сотни миллионов людей во всяких Инстаграмах каждую свою еду фоткают. Хех

[Rattus]

Ну щас фоткают и анонсируют свои походы. Потом перестанут. Собственно уже потихоньку перестают - когда персональные преследования IRL через соцсети от отдельных агрессивных граждан, несовершеннолетних (а также - местами - государств) перестали быть случаями уникальными.
А такие умозрительные кейсы подобны игре в Plague, Inc. на низшем уровне сложности, где люди вообще не знают о правилах гигиены, а санитарный надзор фактически отсутствует. Потому и пишу: не следует вещать об опасной могучести AGI-агентов на примере захвата ими сказочного мира вечнонепуганных дебилов.

[MenFrame]

От чего многое меняется.

Что тут меняеться со времен справочников? Справочник как давал справки, так и продолжает давать.

[MenFrame]

Какие именно промежуточные цели он при этом для себя выведет - дело тёмное,

Такой ИИ тогда просто не будет востребован, раз его интелект не может выдать подробный план и последствия его внедрения.

, в чём убеждаются современные исследователи искусственных мозгов

Потому как это не интелект....в лучшем случае интуиция в худшем просто продвинутый Т9. Интелект просто обязан иметь иметь понимание того что он делает и отчитываться об этом.