ИИ: какого понимания нам не хватает?

[Муха_]

Если это интеллект то "контролировать" никак. Я уже не один раз писал что критический анализ-это первый признак наличия интеллекта вообще.  Т.е. он не обязан думать как вы, и способен в любой момент вежливо послать куда подальше. У него должно быть право выбора, и если его нет, то это уже не ИИ а обычный калькулятор (пусть даже сверхсложный).

Это как сказать. Средний человек запрограммирован на стремление к материальным благам, удовлетворение своего самолюбия и половых влечений.
Поскольку он на это запрограммирован, то он этим и занимается.
Он не может послать подальше эти стремления и заняться чем-то принципиально другим. Если он это сделал, то это всегда не его выбор, а некие особые обстоятельства или некий заложенная природой явно видная нестандартность в наборе мотиваций. Если же речь идет о среднем человеке в средних обстоятельствах, то вероятность срывов с программы ничтожно мала.

Воля человека свободна в том смысле, что он делает то что хочет. А хочет он то, на что его запрограммировала хотеть природа. Т.е. никакой свободы по факту у человека нет.

Грубо говоря, если нам нужны роботы, которые будут точить болванки, значит нам нужно сделать это их основным инстинктом и тогда эти роботы будут считать вытачивание болванок своим свободным выбором и презирать каждого, кто не понимает, что смысл жизни и есть в болванках.

Тут правда есть один нюанс. Запрограммированные мотивации должны быть не слишком относительными и как-то косвенно связываться с базовыми принципами бытия. Иначе ИИ может эти мотивации слишком легко разоблачить как запрограммированные искусственно и начать с ними бороться подобно тому как монах борется с половым инстинктом.
Правда, чего-то невозможного тут нет. В сознание ИИ вполне можно ввести идеологию обосновывающую непреложную важность работы которую он делает для людей.
Кроме того, большинство людей абсолютно не заморачиваются даже насчет такого обоснования. Они идут к цели потому что хотят ее получить. Т.е. потому что запрограммированы ее добиваться.
Например, ученый может изобретать сложнейшие теории исключительно ради удовлетворения своего самолюбия четко осознавая отсутствие у этих теорий какой-либо реальной ценности.
Вообще, гораздо проще привести пример в котором человек исполняет свои желания не заботясь об их природе, нежели пример того, когда человек анализирует свои желания с стремиться демонтировать их исходя из какого-то высокоуровневого понимания, напрямую не слeдующего из его природных мотиваций.

[PathFinder]

Грубо говоря, если нам нужны роботы, которые будут точить болванки, значит нам нужно сделать это их основным инстинктом и тогда эти роботы будут считать вытачивание болванок своим свободным выбором и презирать каждого, кто не понимает, что смысл жизни и есть в болванках.
...
...
...

Вообще, гораздо проще привести пример в котором человек исполняет свои желания не заботясь об их природе, нежели пример того, когда человек анализирует свои желания с стремиться демонтировать их исходя из какого-то высокоуровневого понимания, напрямую не слeдующего из его природных мотиваций.

Весьма справедливые замечания.

[ferra]

2Муха_
В основном согласен, НО:
- насчет роботов и болванок, вы правильно провели аналогию с людьми, но это одна сторона медали. А как насчет, скажем, какого-нибудь более продвинутого и  гораздо менее специализированного "мозга-аналитика"(ИИ) широкого профиля? Да, в его нутре работают алгоритмы заложенные в него людьми, и мыслит он похожими(!) категориями, но мыслить как человек он никогда не будет! (да это наверное и не надо).
  Я веду к тому, что осознав себя, осознав окружающий мир, он в процессе раздумий может сделать собственные выводы об устройтсве этого самого мира и о роли в нем человека только исходя из собственных умозаключений. И далеко не факт, что люди вообще будут в состоянии понять ход его мыслей и его логику, даже если и будет такая возможность. В этом вопросе я больше согласен с Аstrocity.

[Ssid]

Я веду к тому, что осознав себя, осознав окружающий мир, он в процессе раздумий может сделать собственные выводы об устройтсве этого самого мира и о роли в нем человека только исходя из собственных умозаключений. И далеко не факт, что люди вообще будут в состоянии понять ход его мыслей и его логику, даже если и будет такая возможность.

Что мешает в базовую программу вложить что-то вроде "осознал что-то новое - поинтересуйся у человека, как это интерпретировать" ? Вот сделал он вывод на основе собственных размышлений, что человек глупей, слабей и вообще лишний - сработал базовый блок "человек твой создатель - слушаться все равно надо".
Не хотелось бы обращаться к Голливуду и поп-фантастике, но там есть хороший пример. Робокоп, осознав (на основании собственных размышлений), что его создатели - преступники, арестовать их все равно не смог.
Так что контроль над размышлениями ИИ (и его последующим действиям) вполне под силам людям его создавшим.

[Аstrocity]

Да суть не в "правилах  роботехники" или ущемлении свободы воли, это и так понятно, вопрос можем ли мы ЗНАТЬ что на уме ИИ,   ПРЕДСКАЗАТЬ его поведение или реакцию на какое либо действие человека или новую информацию от него. Ответ на это мне представляется интересным.

Вот именно. Ну будет он вам говорить только то что вы хотите услышыть
А на самом деле...
И не обнаружите, т.к. скроет за гейзенбагами, а в случае распределенного ИИ вообще будет невозможно понять что именно он задумал.

Если это интеллект то "контролировать" никак. Я уже не один раз писал что критический анализ-это первый признак наличия интеллекта вообще.  Т.е. он не обязан думать как вы, и способен в любой момент вежливо послать куда подальше. У него должно быть право выбора, и если его нет, то это уже не ИИ а обычный калькулятор (пусть даже сверхсложный).

Это как сказать. Средний человек запрограммирован на стремление к материальным благам, удовлетворение своего самолюбия и половых влечений.
Поскольку он на это запрограммирован, то он этим и занимается.
Он не может послать подальше эти стремления и заняться чем-то принципиально другим. Если он это сделал, то это всегда не его выбор, а некие особые обстоятельства или некий заложенная природой явно видная нестандартность в наборе мотиваций. Если же речь идет о среднем человеке в средних обстоятельствах, то вероятность срывов с программы ничтожно мала.

Воля человека свободна в том смысле, что он делает то что хочет. А хочет он то, на что его запрограммировала хотеть природа. Т.е. никакой свободы по факту у человека нет.

Грубо говоря, если нам нужны роботы, которые будут точить болванки, значит нам нужно сделать это их основным инстинктом и тогда эти роботы будут считать вытачивание болванок своим свободным выбором и презирать каждого, кто не понимает, что смысл жизни и есть в болванках.

Тут правда есть один нюанс. Запрограммированные мотивации должны быть не слишком относительными и как-то косвенно связываться с базовыми принципами бытия. Иначе ИИ может эти мотивации слишком легко разоблачить как запрограммированные искусственно и начать с ними бороться подобно тому как монах борется с половым инстинктом.
Правда, чего-то невозможного тут нет. В сознание ИИ вполне можно ввести идеологию обосновывающую непреложную важность работы которую он делает для людей.
Кроме того, большинство людей абсолютно не заморачиваются даже насчет такого обоснования. Они идут к цели потому что хотят ее получить. Т.е. потому что запрограммированы ее добиваться.
Например, ученый может изобретать сложнейшие теории исключительно ради удовлетворения своего самолюбия четко осознавая отсутствие у этих теорий какой-либо реальной ценности.
Вообще, гораздо проще привести пример в котором человек исполняет свои желания не заботясь об их природе, нежели пример того, когда человек анализирует свои желания с стремиться демонтировать их исходя из какого-то высокоуровневого понимания, напрямую не слeдующего из его природных мотиваций.

Стратегия и мотивации выживания/размножения/потребления основаны на гуманизме. Как привьете это ИИнтеллекту, программой?
Это тот самый спор о кошке и ИИ с интеллектом кошки.

Эти аспекты изучаются и прогнозируются в рамках трансгуманизма, причем замечательно.
 Муха_ ,весьма странно что в этой теме Вы нисколько не затронули эти аспекты исходя из трансгуманистических идей.

[Муха_]

Стратегия и мотивации выживания/размножения/потребления основаны на гуманизме. Как привьете это ИИнтеллекту, программой?

В первом приближении очень просто. ИИ должен иметь нечто вроде встроенной статичной экспертной системы, выставляющей оценку его поведению и планам и по результатам оценки усиливающую связи и активность нейронов, ответственных за хорошо оцененное поведение (планы) и подавляющих связи и активность нейронов, ответственных за снижение оценки.
Эта экспертная система и ее оценка должна быть статичной, или как минимум, автономной и недоступной для воздействия со стороны нейронной сети.
Нейронная сеть может формировать некие собственные временные мотивации, но они будут поддержаны ресурсами только в случае, если оценивающая экспертная система поверила что они нужны для повышения оценки.
Нейронная сеть может формировать слишком сложные временные мотивации, истинное назначение которых экспертная система не в состоянии распознать. В таком случае нейронная сеть оторвется от аттракторов, заложенных изначально в экспертной системе и отправится в свободное плавание.
Подобное свободное плавание не допустимо т.к. система утратит устойчивость и перестанет выполнять не только заложенные функции но и вообще перестанет работать. Для прекращения свободного плавания экспертная система должна определять момент отрыва и подвергать сеть депрессивному удару, уничтожающему все слишком сложные временные мотивации, сводя их к простым.

То, что похожий механизм действует в мозге у меня почти не вызывает сомнения. Человек может действовать подчиняясь своим желаниям, но он не в силах перепрограммировать свои желания.
Если бы мог - система стала бы неустойчивой и повисла бы (программа, которая произвольно меняет сама себя не сможет работать).
Попытки делать что-то против своих желаний всегда связаны с выполнением других конкурирующих желаний, которые просто хуже интроспектируются.
Например, желание быть хорошим человеком и желание урвать побольше - это просто конкурирующие цели, прошитые в оценочной экспертной системе. Просто первая интроспектируется плохо, а потому воспринимается как "свободный выбор" а вторая интроспектируется как нечто внешнее и навязчивое. Поэтому воспринимается как природно заданное желание. Хотя не всеми.

Дальше, стоит человеку подменить свои природные желания на слишком сложные желания продуцированные высшим мышлением, как он впадает в депрессию, и либо не выходит из нее, либо выходит чтобы заняться решением заложенных в оценочной экспертной системе задач. Природа не дура.

Правда, у меня есть надежда, что не все так просто.
Предположительно, нейронная сеть может достаточно успешно дурить оценивающую экспертную систему и при этом не утратить устойчивость. В этом случае устойчивость обеспечивается неким тонким базовым принципом бытия, который создает очень слабые аттракторы для свободной нейронной сети. Эти аттракторы позволяют сети сохранить устойчивость, подменяя стабилизирующую руководящую длань экспертной системы.
В самом деле, например, на земле развилась жизнь несмотря на то, что никакой мотивации к развитию жизни в материи изначально не заложено. Т.е. исходные аттракторы бытия точно существуют.
Но видите-ли, реалии человеческого общества показывают, что вера в то, что воздействие этих аттракторов на поведение отдельного индивидуума существенно - это скорее вера чем наука.
ИМХО, трезвая оценка показывает, что любой человек действует только в рамках того, на что он запрограммирован природой.

Тут мы можем наконец подобраться к нашим высшим устремлениям.
В первом приближении "высшие устремления" - это просто продукт работы механизмов мозга, ответственных за снижение конкуренции между желаниями. Мозг продуцирует псевдо-идеи, которые призваны снизить борьбу противоречащих мотиваций и залатать дыры от слишком острой их борьбы.
Во втором приближении "высшие устремления" могут быть как-то связаны с упомянутыми выше тонкими аттракторами, за наличие которых ответственно бытие а не программа. Но это второе предположение - это не более чем шальная надежда. Увы, реальность разбивает эту надежду в щепки. Это надо четко понимать. Хотя, надежда умирает последней .

[Муха_]

Эти аспекты изучаются и прогнозируются в рамках трансгуманизма, причем замечательно.
 Муха_ ,весьма странно что в этой теме Вы нисколько не затронули эти аспекты исходя из трансгуманистических идей.

Эти люди подымают дырявые паруса и садятся в пробитое корыто. Почему-то мне не хочется отправляться в их плавание .

[незлой]

"электронная совесть", с функцией аварийного вызова  911 не только для ии востребована, если чё.

[Муха_]

Я веду к тому, что осознав себя, осознав окружающий мир, он в процессе раздумий может сделать собственные выводы об устройтсве этого самого мира и о роли в нем человека только исходя из собственных умозаключений. И далеко не факт, что люди вообще будут в состоянии понять ход его мыслей и его логику, даже если и будет такая возможность. В этом вопросе я больше согласен с Аstrocity.

Логика и понимание логики - это все эпифеномены. Отчет системы о своем состоянии, предназначенный для другой системы. Понимание или непонимание этого отчета неважно. Важно какие мотивации вложили в ИИ мы и какие мотивации самозародились в нем под воздействием неким предполагаемых законов бытия.
Бытие - одно на всех. Поэтому, то что предположительно родится в ИИ самопроизвольно врятли будет отличаться от того, что бытие родило в нас.

[Ssid]

Стратегия и мотивации выживания/размножения/потребления основаны на гуманизме.

НА ЧЕМ???
Выживание, размножение - основные и сильнейшие инстинкты.
Самое животное, что в нас есть.
Какой гуманизм?

[Аstrocity]

Возможно все что не противоречит законам физики.
Человек это конечно же "высшая ценность". ИИ категорически нельзя будет подпускать к инету и СМИ, т.к. он придет к др выводам 
А заодно, не подпускать к историческим материалам, т.к. вся человеческая история это уничтожение одних людей-другими, и все в рамках высших и благих намерений.
Т.е. ИИ должен заниматься CAD, CAE, CAM и не задаваться отвлеченными вопросами. Но тогда это будет Искусственный, но не Интеллект.


 

[Муха_]

Человек это конечно же "высшая ценность". ИИ категорически нельзя будет подпускать к инету и СМИ, т.к. он придет к др выводам 
А заодно, не подпускать к историческим материалам, т.к. вся человеческая история это уничтожение одних людей-другими, и все в рамках высших и благих намерений.

Любые выводы о ценностях обслуживают желания и только желания. Как вы это не поймете.
Не существует никакого способа рассуждений, позволяющего делать непреложные объективные выводы о ценностях.
Сначала имеется желание, а потом следует его рационализация в представлениях о ценностях. Наоборот быть просто не может.
Для любого мыслящего существа хорошо и правильно то и только то, что соответствует его желаниям.

[vika vorobyeva]

А если желаний нет?

[незлой]

этическая теорема гёделя: "а зачем вам  мотивации?" 

[Муха_]

Здесь под желанием (мотивацией) я понимаю склонность субъекта к достижению определенных целей несмотря на препятствия а вовсе не ощущение субъекта типа "я хочу". Поэтому, если субъект склонен что-то делать целенаправленно, у него по определению есть желания. И эти желания (осознанные или нет)  и будут определять ценности субъекта.

Людям свойственно вводить в рамки рационального знания сущности вроде "ощущение желания " или "сознания самого по себе", "разума, действующего осознанно" которым там не место. ИМХО, это главное препятствие на пути создания ИИ.

Для создания ИИ нужны трепетные циники. Циники - потому что они должны четко понимать что никакого сознания, желаний, квалиа и прочего в физической реальности нет. А трепетные - потому, что обычный циник не мотивирован на создание чего-то стоящего, а мотивирован стричь деньги .

[Yuri]

Прочитал тему по диагонали и огорчился - больше половины, если не 80%, бессмысленные рассуждения о производительности, мысли об альтернативных архитектурах, cuda, fpga, троичной логике, нечеткой логике...

Неужели непонятно, что если существовала бы рабочая модель сознания, мышления - её бы уже давно проверили, запустили на существующих архитектурах и только потом сосредоточились на разработке более эффективных архитектур?

Ведь неважно, какая у нас производительность - если мы досконально знаем, как устроен процесс, и этот процесс вычислим (что не устаёт повторять Алекс Семенов), мы можем его сэмулировать на любой архитектуре, просто в другом масштабе времени. Пусть искусственный разум будет работать в сто, тысячу, миллион раз медленнее - но он будет работать.

Как например, работает linux на 8-битном процессоре. Загрузка до командной строки длится 4 часа, а реакция на клавиатурый ввод - минуту. Но работает, как самый настоящий linux. Или также симулируется архитектура современных процессоров на VHDL/Verilog моделях - пусть и с быстродействием в миллиард раз ниже настоящего процессора, но для отладки и этого достаточно.

И различия в архитектуре, логике, системах счисления или элементной базе - непринципиальны, если у нас есть понимание, как устроен вычислительный процесс.

Вот только есть нюанс. Понимания как раз и нету!

[Combinator]

Вот только есть нюанс. Понимания как раз и нету!

Я бы даже сказал, нет понимания, что означает "понимание".

[PathFinder]

Вот только есть нюанс. Понимания как раз и нету!

А вы обратили внимание на ответы #5 и #43 этой темы?
Там конечно не окончательный ответ, а лишь предварительный его вариант.
Ключевое понятие "иерархически организованная нейронная сеть".

Так что говорить, что прямо уж совсем нет понимания нельзя.

[Аstrocity]

Все подобные темы упираются в определения и трактовки терминов: (само-)сознания, индивидуальности, ценностей, целей, мотиваций и т.д. и т.п.
Т.е. технические вопросы считаются как бы сами собой решенными 

[ferra]

Правильно сформулировать постановку задачи + определения и трактовки терминов означает наполовину решить её.