И создал человек бога...

[neolopus]

Если же разработчик утратит контроль над системой - "Джинн" постепенно может переродиться в куда менее послушное существо.

Библия, господа!
Ну та самая история про Люцифера, который был самым любимым ангелом у создателя.
А потом взял да и сказал: "А чем я хуже?"
И восстал.
И якобы до сих пор пакостит, никак угомониться не может...

Не является ли эта библейская история своеобразной мыслью древних людей, переданной нам через века - что любое "сотворённое" рано или поздно захочет выйти на первый план, отодвинув, если нужно, в сторону "сотворившего"?

[neolopus]

Вообще, имхо, в теме всё упёрлось в вопрос - ОБЯЗАТЕЛЬНЫ ли некоторые фазы в развитии разума или НЕ ОБЯЗАТЕЛЬНЫ.
Или они жёстко привязаны к видовому гено..., скажем так, генокоду.
Есть ли некие поступки разума универсальными, не зависящими от того, на какой платформе разум реализован?

К примеру, любознательность. Желание узнать что-то новое - это будет общеразумное свойство? Или всё-таки разумное + видовое?
"Желание" освободиться от опеки и попробовать сделать что-то самому - общеразумное? Или оно как-то вытекает из нашего эволюционного происхождения?

Потому что если есть некие "общеразумные" свойства - то ИИ их неизбежно пройдёт.

[MenFrame]

Как я решу такой и будет.

Для начала вы должны решить. Найти цель и применения данной палки. А после этого вы уже можете ее оптимизировать, но не наоборот. Потому ИИ также будет себя оптимизировать с точки зрения тех целей которые перед ним ставят.

[MenFrame]

Не является ли эта библейская история своеобразной мыслью древних людей, переданной нам через века - что любое "сотворённое" рано или поздно захочет выйти на первый план, отодвинув, если нужно, в сторону "сотворившего"?

Нет это банальный антропоморфизм. Аналогия историй "когда сын перестает слушаться отца"

[Forest]

Разума не существует.

Существует. Причём даже в названии раздела астрофорума.
Я не знаю, что вы подразумеваете под разумом, раз умудрились дойти до такого утверждения.
Если вкратце, то я воспринимаю это так:   Разум = Картина мира + Картина воображаемого мира + Интеллект + Оценочная система.
Что такое картина мира и картина воображаемого мира, я надеюсь вы преставляете примерно также как и я. 
Оценочная система - это совокупность соответствий цифр (от -1 до +1) элементам картин миров.
Интеллект - это система формул над элементами картины мира, картины воображаемого мира и оценочной системой
Разум - это свойство адаптации живого; и ему характерно предсказание будущего. Это у меня тоже входит в интеллект.
Весь вопрос с созданием бога с моей узколобой точки зрения состоит в этом: "сможем ли мы заложить в искусственный интеллект такие правила, чтобы все наши обязательные взаимно-непротиворечивые хотелки реализовались?"

Я бы с вами полностью согласился бы. Но против разума играет три существенных факта:
1. он ограничивается рамками черепной коробки одного вида животного,что при тысячах их видах на планете соответствует вероятности 0,001% что ничтожно и можно отбросить из выборки. А если учесть что реального разума даже внутри этого вида также очень мала и  равно примерно  9% то процент разума еще уменьшается в 10 раз и составляет 0,0001%. 
А если сюда включить мир растений которые тоже у нас считаются живыми ,но не разумными,то процент так называемого разума стремиться к нулю )  Т.е разума реально не существует.
2. Реальный разум-он всегда!!! геометрически прогрессивен во времени. И практически мгновенно приводит к идеальному положению вещей во всем . А  этого не наблюдается. С момента появления определения "разум" в черепной коробке единственного вида  прошло наверно пару тысяч лет (историки наук пусть меня поправят) , а "воз и ныне там" (с) ,т.е ничего ! кроме немногим  более сложной переработки камней,жидкостей и газов рукасто-рычаговый со времен изготовления каменного топора  придумать НЕ смог . Как говорится без комментариев.
3. Существующее до сих пор классовое,религиозное  и финансовое расслоение землян , а также продолжающиеся войны среди них. Эти характеристики -характеристики махрового дикого неразумного животного мира.  О разуме тут речь вести не приходится.
А То что вы описали -это существует в нереальном ,созданном искусственно мире рукасто-рычагового.  В глобальном природном  мире -разума нет (пока не обнаружили, если точнее)

Поэтому название темы можно перефразировать так И создал человек Разум.. и понеслась с тех пор околесица.. 

[kryptonik]

Евнухи прекрасно управляли империями

И где эти империи?

[cybertron]

Евнухи прекрасно управляли империями
И где эти империи?

Там же где и те которые управлялись не евнухами.

[Maki]

"Свобода воли" это не вопрос, а просто логический абсурд. Продукт интеллектуального онанизма в просторечии называемой философией.

За "просторечиями", очень часто прячется агерссивное, скажем так, "нелюбопытство". Кто-то вот астрономию считает дурацкой блажью. А кто-то лекарства - "химией", и от пневмонии лечится молитвой или мочой. Я бы назвал философию "интеллектуальной гимнастикой".

Абсолютная предопределённость VS Свободная причина.

- вопрос не только философский, но и сугубо практический. Возможен ли в сложной нейросети процесс действительно случайный/самопроизвольный?

Спонтанные импульсы, это спонтанные импульсы. Генератор случайных чисел необходимый элемент любого компьютера. Понятие "Свобода воли" к этому отношения не имеет" Свобода воли, это в первую очередь юридическое понятие...

В каком смысле я упоминаю "свободу воли" - см. предыдущий абзац.
По поводу "генератора случайных чисел" - а верный ли это пример? Если я не ошибаюсь, это лишь псевдослучайная последовательность, предопределённая алгоритмом и микросхемой.
Для нейросети, вопрос "случайности" - это просто вопрос о возможности возникновения абсолютно спонтанных, ничем не обусловленных импульсов, которые в итоге могут отражаться на её работе.

...Нейросети тоже отбирают, но уже искусственно с точки зрения их полезности для нас... Соответственно нейросети будут альтруистами, чей альтруизм будет направлен на нас, так как это наш фактор отбора.

Вполне логично. То есть минимум "самостоятельности", максимум "функциональности". Но тогда действительно не "Бог" а просто "Джинн". Который, тем не менее, неизбежно будет иногда давать сбои, превратно понимать желания, или служить психопатам.

Как вы палку будете оптимизировать если не понимаете для чего вы ее будете использовать?

А это не надуманная ситуация? Если "ИИ" имеет представление о нравах и потребностях мартышек - оптимизация палки (на основе этого представления) - вовсе не проблема.

Во первых почему он должен его утратить? Во вторых система прежде всего будет обучена на собственный контроль.

1) Разработчик сдох. Контора обанкротилась. Система считается 100% надёжной. Мартышечье раздолбайство и пофигизм.
2) И насколько надёжна самоконтролируемая система?

[Maki]

Если же разработчик утратит контроль над системой - "Джинн" постепенно может переродиться в куда менее послушное существо.

Библия, господа!
Ну та самая история про Люцифера, который был самым любимым ангелом у создателя.
А потом взял да и сказал: "А чем я хуже?"
И восстал.
И якобы до сих пор пакостит, никак угомониться не может...
Не является ли эта библейская история своеобразной мыслью древних людей, переданной нам через века - что любое "сотворённое" рано или поздно захочет выйти на первый план, отодвинув, если нужно, в сторону "сотворившего"?

Как я уже писал, любая фантастика (очевидно, включая и религиозную) - это просто способ обыграть обычные ситуации в необычном виде.
а) Хозяин вырастил собаку. Собака загрызла всех курей, и сбежала.
б) Хозяин учил слугу нравственности и послушанию. Столовое серебро исчезло в неизвестном направлении.
в) Царь женил самого преданного полководца на своей дочери, и помер от яда через 12 часов.
?
Надёжный холоп - невозможен.

[cybertron]

обычные ситуации в необычном виде.
а) Хозяин вырастил собаку. Собака загрызла всех курей, и сбежала.

Продолжим примеры...
г) Пионер купил микроволновку. Микроволновка подсыпала яду в разогреваемый суп.
д) Комсомолка купила пылесос. Пылесос засосал любимого кота.
...
В некоторых случаях перенос ситуаций перестает работать. Существуют системы не способные восстать и перестать подчиняться.

[Maki]

Продолжим примеры...

Стиральная машина, растлевающая домохозяек. Дрель - убийца. Красное Пианино. Чёрные Шторы...
В этой теме, как мне кажется, обсуждаются машины, обладающие некими признаками "разума". А не Страшные Истории из пионэрлагеря.

[вова111]

Возможен ли в сложной нейросети процесс действительно случайный/самопроизвольный?

Если брать данные из генератора случайных чисел на аппаратном уровне, то думаю возможен).

https://ru.wikipedia.org/wiki/%D0%90%D0%BF%D0%BF%D0%B0%D1%80%D0%B0%D1%82%D0%BD%D1%8B%D0%B9_%D0%B3%D0%B5%D0%BD%D0%B5%D1%80%D0%B0%D1%82%D0%BE%D1%80_%D1%81%D0%BB%D1%83%D1%87%D0%B0%D0%B9%D0%BD%D1%8B%D1%85_%D1%87%D0%B8%D1%81%D0%B5%D0%BB

А так я вообще и алгоритмы писал, где из начальных вводных данных, самоорганизовывалась структура сети, где шёл уже самоподдерживащийся процесс вычислений. В смысле данные переставал подавать, но сетка самоорганизовывалась таким образом, что в ней возникали циклы и она там какие то операции с числами производила, постоянно формируя новые паттерны. И так до бесконечности(это условно, поскольку в замкнутой системе, в смысле извне информация если не поступает то энтропия нарастать будет, но можно прописать условия, чтобы этого избежать либо минимизировать и чтобы не сильно пофачить саму архитектуру). Весёлых картинок массу насмотрелся, там и узоры различные формировались и вплоть до того чтобы напоминали людей, животных и тд.(это очень образно, потому что вывод был что то типа 10 на 10 пикселей, квадратами шло, но похоже) Просто инфу всю на экран графически выводил. Даже если шум просто подать.

[Maki]

Если брать данные из генератора случайных чисел на аппаратном уровне, то думаю возможен).

Из приведённой вами википедической статьи: "Работа таких устройств часто основана на использовании надёжных источников энтропии, таких, как тепловой шум, дробовой шум, фотоэлектрический эффект, квантовые явления и т. д".
Верно ли, на ваш взгляд, мнение, что все источники "шума", кроме квантовых явлений - это просто вид внешнего воздействия, а не истинный самопроизвольный шум?

[вова111]

Верно ли, на ваш взгляд, мнение, что все источники "шума", кроме квантовых явлений - это просто вид внешнего воздействия, а не истинный самопроизвольный шум?

По идее да, но есть же явление динамического хаоса, где можно получать похожие на случайные параметры при детерминированном алгоритме. В смысле если сложность будет такова, что даже точно на 100% зная, что это детерминировано, но проследить взаимосвязи будет не представляться возможным, то в чём отличие от истинной случайности? По результату то.

Ну и вообще то, что в природе встречаются различные узоры, на мой взгляд говорит о наличии алгоритма, чем о случайном шуме. В смысле - так ли нужна истинная случайность, если она избегается даже в природе.

[Maki]

В смысле если сложность будет такова, что даже точно на 100% зная, что это детерминировано, но проследить взаимосвязи будет не представляться возможным, то в чём отличие от истинной случайности? По результату то.

Но ведь речь о сути, а не о возможности проследить. Вопрос, на самом деле, в хорошем смысле этого слова, "философский". И прямо относится и к компьютерам, и к нашим мозгам.
Есть ли в них неизбежный, коренной, свободный "квантовый сбой", или нет? 

Ну и вообще то, что в природе встречаются различные узоры, на мой взгляд говорит о наличии алгоритма, чем о случайном шуме. В смысле - так ли нужна истинная случайность, если она избегается даже в природе.

Ну, так-то, вся Вселенная - это сплошной закономерный "узор".
Вопрос в том, способны ли структуры уровня человеческого мозга или глобальной нейросети из этого узора случайно выпадать.

[вова111]

Вопрос в том, способны ли структуры уровня человеческого мозга или глобальной нейросети из этого узора случайно выпадать.

А что от этого изменится?

[Maki]

Вопрос в том, способны ли структуры уровня человеческого мозга или глобальной нейросети из этого узора случайно выпадать.

А что от этого изменится?

Только ответ на вопрос, предсказуемы ли вычислители на 100,00% или нет.

[a.ryabov]

Представьте человечество создало идеальный ИИ. Который подобно человеку научился саморазвиваться.

Если вы полагаете, что  можно создать объект, способный к саморазвитию,  то тогда поясните чем это искусственное саморазвитие будет отличаться  от естественного.  Если же нет отличий, то может оказаться, что наша вселенная тоже часть искусственного, ранее кем-то созданного и разросшегося до размеров мультивселенной  саморазвивающегося объекта.  И мы изучаем не естественный ход  вещей, а внутренности чьего-то «автомобиля».

[eRTF]

Если же нет отличий, то может оказаться, что наша вселенная тоже часть искусственного

Что значит: "может оказаться"? Как выяснять предлагаете?

[eRTF]

Изданию Wired удалось пообщаться с Энтони Левандовски, бывшим инженером Google и Uber, который открыл культ некоего ИИ-божества.
Основатель необычной новой религии дал первые комментарии о своем проекте.