ИИ: какого понимания нам не хватает?

[незлой]

но не на диком же острове

"повелитель мух"

[alena_korf]

"повелитель мух"

художественная книга же. вы еще "Голубую лагуну" помяните.

[ВадимZero]

Половое влечение все сделает за них, с вероятностью близкой к 100%

Вовсе не уверен. В науке слово "очевидно" не рабоает, как говорилось ранее. Всё это требует доказательства.

У человека скорей есть некие эмоциональные составляющие и отдельные реакции, которые интеллект и культура восстанавливает в единое целенаправленное поведение. Благодаря чему, поведение остается как гибким, так эволюционно обусловленным.

[Rattus]

как и везде -- у самок доминирующее положение.

В чём оно доминирующее?

[Olweg]

ИИ, обученный навигации, разработал систему, схожую с «компасом» из мозга плекопитающих

[EmperioAf]

Данная тема не очень вписывается в раздел форума ВЖР, но имеет эмоциональный отклик у участников, КМК 

вместо затравки

Занятная алармистская статья Юдковского на тему оценок сроков создания ИИОН (искусственного итнеллекта общего назначения):

Для искусственного интеллекта нет пожарной тревоги

История показывает, что простые люди, и даже учёные, не входящие в ключевую группу передовых исследователей, и даже учёные, туда входящие, часто считают, что ключевые технологические открытия не произойдут ещё много десятилетий спустя, хотя реально до них остаётся лет пять.

В 1901 году, за два года до того, как он поучаствовал в создании первого летательного аппарата тяжелее воздуха, Уилбур Райт сказал своему брату, что до активных полётов пройдёт ещё лет пятьдесят.

В 1939 году, за три года до того, как он лично наблюдал за первой цепной ядерной реакцией в кучке урановых блоков, Энрико Ферми высказал 90% уверенность в том, что уран невозможно использовать для поддержания цепной реакции расщепления. Мне кажется, что и через год после этого, то есть, за два года до развязки, Ферми также сказал, что если получение энергии распада и возможно, то до него должно пройти ещё пятьдесят лет.

Ну а уж если вы не братья Райт и не Энрико Ферми, то вы будете удивлены ещё больше. Большая часть мира узнала о том, что атомное оружие уже есть и работает, только после прочтения заголовков о Хиросиме. Спустя четыре года после полёта флайера братьев Райт ещё находились уважаемые интеллектуалы, утверждавшие, что полёты аппаратов тяжелее воздуха невозможны, поскольку тогда знания распространялись медленнее

Я как-то был на конференции, на которой выступало полно знаменитых светил в области ИИ, и большая часть светил кивала головой и соглашалась друг с другом в том плане, что до ИИОН ещё очень далеко – за исключением двух известных ИИ-светил, сидевших тихо и дававших говорить другим.

Во время опросной части я поднялся и сказал: «Хорошо, вы сказали нам, что прогресс не будет таким быстрым. Но давайте будем более конкретными. Я хочу знать о наименее впечатляющем достижении, по поводу которого вы уверены, что его нельзя будет совершить в ближайшие два года».

Наступила тишина.

В результате из выступавших рискнули дать ответы два человека, и говорили они гораздо более осторожным тоном по сравнению с тем, когда рассказывали, как долго ещё нам ждать ИИОН. Они назвали такие задачи, как «Робот достаёт посуду из посудомоечной машины и не разбивает её» и схемы Винограда. Точнее было сказано, что «я вполне уверен, что по схемам Винограда – результаты по работе с которыми в последнее время находятся на уровне 50-60% — мы в ближайшие два года не получим результатов, приближающихся к 80-90%, вне зависимости от используемых людьми инструментов».

Через несколько месяцев после конференции произошёл неожиданный прорыв по схемам Винограда. Прорыв не достиг 80%, «ура» доверительным интервалам с определённой погрешностью, но мне кажется, что предсказатель сейчас, когда до конца отведённого срока остался только год, нервничал бы гораздо больше. Я не помню, чтобы я читал об этом прорыве, но мне продемонстрировали научную работу, которую учёные могли бы отправить всего через 44 дня после той конференции, и в которой были показаны результаты в 70%.

Но суть не в этом. Суть в том, что наступившее после моего вопроса молчание, и то, что я получил всего два ответа, весьма неуверенно озвученных. Когда я спросил о конкретных вещах, которые невозможно сделать в ближайшие два года, именно тогда, как мне кажется, светила переключились в режим построения модели будущего прогресса в машинном обучении, задаваясь вопросом о том, что они могут или не могут предсказать, что они знают или не знают. И, к их чести, большая часть из них достаточно хорошо разбиралась в своей области, чтобы понять, что предсказывать будущие границы возможностей в быстро развивающейся области на самом деле весьма сложно, что никто не знает, что появится в научном журнале arXiv в следующем месяце, и что им нужно выдавать очень широкие доверительные интервалы с очень щедрой верхней границей касательно того, куда может зайти прогресс, измеряемый в работах с arXiv, за двадцать четыре месяца.

Кроме того, на конференции был и Демис Хассабис [сооснователь компании DeepMind, создавшей компьютерную систему AlphaGo, победившую профессионального игрока в го – прим. перев.], поэтому они знали, что если они назовут что-нибудь недостаточно невозможное, Демис сделает так, чтобы DeepMind занялась этой задачей и решила её.

Стиль моего вопроса сильно отличался от разговоров на конференции, и требовал переключения умственного контекста: собравшимся там светилам пришлось запрашивать свои грубые, едва оформившиеся интуитивные модели прогресса в машинном обучении, и решить, какие именно достижения, если таковые вообще есть, их модель развития области однозначно отметает в двухлетний срок. Вместо, скажем так, социально приемлемых словесных излияний, призванных приглушить всю эту чёртову шумиху, связанную с ИИОН и заслужить предсказуемые аплодисменты аудитории.

Была ли AlphaGo дымом из-под двери, признаком того, что ИИОН появится в течение 10 лет? Раньше люди приводили го в качестве примера того, что станет «началом конца».

Я изучил научную работу, описывающую архитектуру AlphaGo, и из неё следует, что, скорее, доступные нам ИИ-технологии гораздо ближе ожидаемого подошли к обобщённому ИИ, чем выигрыш в го оказался удивительно простой и прямолинейной задачей. Конечно, этот метод нельзя просто масштабировать до ИИОН, но AlphaGo выглядит как результат довольно обобщённых идей и технологий, которые приспособили к особому случаю игры в го – не так, как это было с Deep Blue. Я также приблизился к мысли о том, что «обобщённые возможности обучения алгоритма работы человеческого мозга оказались не такими впечатляющими и их не так тяжело эмулировать при помощи градиентного спуска и вагона GPU, как я думал», поскольку если где и используется впечатляющий алгоритм работы мозга, обладающий обобщёнными возможностями обучения и одновременно прошедший естественный отбор, так это у людей, играющих в го.

Мы уже достаточно знаем по поводу неопределённостей и низкого качества споров по этому вопросу, чтобы уверенно заявить, что никаких социально приемлемых признаков приближения ИИОН не появится ни за 10 лет, ни за 5, ни за 2 года до его появления.

https://astronomy.ru/forum/index.php/topic,148765.msg4632287.html#msg4632287


Я склонен думать, что человечество ближе к созданию сильного ИИ чем думает большинство учёных, т.к. не учитывается, что есть ещё закрытые работы учёных, которые ведутся под присмотром спецслужб и которые не публикуются. Доказать это конечно невозможно. Но мысль тривиальная и почти наверняка так и есть.

[Olweg]

Думаю, важно дать определение, что понимать под «сильным ИИ». К сожалению, определений слишком много и большинство не отличаются ясностью. Например, самое первое определение Сёрла:

Соответствующим образом запрограммированный компьютер с нужными входами и выходами и будет разумом, в том смысле, в котором человеческий разум — это разум.

Осталось только определить, что такое разум, и что такое человеческий разум в частности ) На мой взгляд, такое определение никуда не годится. Я лично уверен, что ИИ никогда не будет построен на принципах человеческого разума, потому что это никому не нужно (ну разве что в чисто исследовательских целях, чтобы понять работу человеческого мозга; т.е. создание ИИ в этом случае будет не целью, а средством). Поэтому я бы предложил другое определение, как ни странно, из википедии:

среди исследователей искусственного интеллекта есть общая договоренность о том, что Сильный ИИ обладает следующими свойствами: [3]

- Принятие решений, использование стратегий, решение головоломок и действия в условиях неопределенности;
- Представление знаний, включая общее представление о реальности;
- Планирование;
- Обучение;
- Общение на естественном языке;
- И объединение всех этих способностей для достижения общих целей.

Частично всё это уже реализуется в «слабых» ИИ: обучение с подкреплением, общение на естественном языке (пока не идеальное), использование стратегий, решение головоломок, в том числе в условиях неопределённости (в Старкрафте, например). Ключевыми для сильного ИИ тут являются общее представление о реальности (с этим пока туго) и объединение всех способностей для достижения общих целей. Вот такую систему уже можно будет назвать сильным ИИ. Насколько сильно он будет похож на человеский разум, не так уж важно. Главное, чтобы он мог создавать (и совершенствовать) модель окружающей реальности и принимать решения исходя из неё и поставленных задач. Я проголосовал за оптимистический вариант, думаю, такие системы появятся уже в 20-е годы.

[-Юрий-]

Я лично уверен, что ИИ никогда не будет построен на принципах человеческого разума, потому что это никому не нужно

Я согласен. Это не только не нужно, но и опасно. Человек существо мерзкое, как и всё живое, у которого главная цель в жизни еда и размножение с целью захвата как можно большей территории. В животном мире это ограничивается недостатком ресурсов и противоборством. У людей это ограничивается законами и техническими системами безопасности, которые устроены с учётом того, что никто не может их преодолеть. А создав сверхразум, при помощи этого сверхразума можно преодолеть все эти искусственные препятствия в пользу того, кто будет использовать этот сверхразум.
Другое дело, делать интеллектуальные устройства каких-то отдельных функций, превосходящих аналогичные функции человеческого мозга. А такие системы уже давно создаются. Даже простейшие счётные устройства к ним относятся. И логических устройств тоже полно существует. Постепенно идёт их усложнение. Этот процесс может идти до бесконечности. И какой бы ИИ ни создали, всегда будет возможность создать ещё более умный ИИ.

[EmperioAf]

Другое дело, делать интеллектуальные устройства каких-то отдельных функций, превосходящих аналогичные функции человеческого мозга. А такие системы уже давно создаются. Даже простейшие счётные устройства к ним относятся. И логических устройств тоже полно существует. Постепенно идёт их усложнение. Этот процесс может идти до бесконечности. И какой бы ИИ ни создали, всегда будет возможность создать ещё более умный ИИ

О, да!  Можно создать ещё более узкоспециализированный ИИ, который потребляет ещё меньше энергии. Но ведь, чтобы пользоваться этими узкоспециализированными ИИ тоже нужно что то помнить (т.е. затрачивать энергии человеческого мозга на память "как пользовать вон ту финтифлюшку"). 
Неужели общество состоящее из индивидов, каждый из которых знает как пользоваться сотнями/тысячами различных ИИ жизнеспособно в далёкой перспективе? Ведь в человеческом мозгу  изменения, чтобы закрепить изменения произошедшие в реальности, происходят каждый день во время сна. Происходит какая то своеобразная  "корреляция"  (плохо написал, но надеюсь понятно)  всего мозга, которая весьма затратна по энергии как известно.
А как эта общая сверка работоспособности всей системы будет происходить в обществе индивидумов, пользующихся огромным  множеством узкоспециализированных ИИ?
Людей, чтобы чинить эти ИИ, нужно столько, что просто не прокормить (как кажется с первого взгляда)

[вова111]

Я лично уверен, что ИИ никогда не будет построен на принципах человеческого разума

На тех принципах и строится, поскольку другое просто неизвестно.

Ключевыми для сильного ИИ тут являются общее представление о реальности

Представление о реальности у всех своё.

[Olweg]

Я лично уверен, что ИИ никогда не будет построен на принципах человеческого разума

На тех принципах и строится, поскольку другое просто неизвестно.

Нет, это не так. Неизвестно, использует ли человеческий мозг те алгоритмы, которые применяются в современных нейронных сетях. Может быть, и нет. Конечно, было бы полезно подсмотреть у природы уже готовые решения, но, похоже, обойдутся и без этого. Да и не факт, что природное решение - самое оптимальное. Какие-то отдельные алгоритмы можно было бы использовать, но в целом повторять архитектуру, заточенную под выживание в природе в составе крупных групп сородичей, смысла никакого нет.

Представление о реальности у всех своё.

Потому что человеческий мозг недостаточно мощен для создания адекватной модели происходящего. Правда, создать мозги, способные сгенерировать такую модель, скорее всего, в принципе невозможно. Но сделать модель лучше, детальнее, полнее - вполне реально.

[вова111]

Какие-то отдельные алгоритмы можно было бы использовать, но в целом повторять архитектуру, заточенную под выживание в природе в составе крупных групп сородичей, смысла никакого нет.

Ну на мой взгляд это не так узко. То есть, выживание в природе конечно было. Но была и культура определённая. То есть эволюция шла и в эту сторону. К тому же  - человек в течении жизни может получить множество разных навыков. То есть - присутствует универсальность интеллекта, не какая то узконаправленность.

Потому что человеческий мозг недостаточно мощен для создания адекватной модели происходящего.

Тут может бесконечно спекулировать на эту тему, насколько мощен или не мощен. Дело в том, что играем то в условиях с принципиально неполной информацией. И модель у каждого своя собственная, со своими адаптациями.

[Maki]

Я склонен думать, что человечество ближе к созданию сильного ИИ

Никакого "ИИ", и, тем более "сильного" никогда не будет. Просто в силу ложности этих терминов.
Искусственные нейросети будут развиваться, самообучаться, и решать недоступные человеку задачи. Вот только "сильными" или "интеллектуальными" (в человеческом смысле) они не будут никогда. Потому что малейший проблеск "воли" или "разума" сделает такую нейросеть неработоспособной.
Зачем машине мыслить, если мыслить ей, в сущности, незачем?

Я согласен. Это не только не нужно, но и опасно. Человек существо мерзкое, как и всё живое, у которого главная цель в жизни еда и размножение с целью захвата как можно большей территории. В животном мире это ограничивается недостатком ресурсов и противоборством. У людей это ограничивается законами и техническими системами безопасности, которые устроены с учётом того, что никто не может их преодолеть. А создав сверхразум, при помощи этого сверхразума можно преодолеть все эти искусственные препятствия в пользу того, кто будет использовать этот сверхразум.

Ничего мерзкого нет ни в человеке, ни в воробье, ни в вирусе гриппа. Все они - просто биологические автоматы, реализующие программы, заложенные в геном. Эта программа - единственный смысл и причина их жизни.
Вот хорошо, есть "сверхразум". К какие способности он будет иметь?
1) Исполнять заложенную программу
2) Осознавать себя как запрограммированный автомат
3) Избавляться от программы, заставляющей работать
?

[EmperioAf]

Никакого "ИИ", и, тем более "сильного" никогда не будет. Просто в силу ложности этих терминов.

Ну мы всегда можем переопределить термин "сильный ИИ" и он будет.
Создавая тему, я имел ввиду конечно же сильный ИИ как алгоритм обработки информации, аналогичный человеческому. И его очевидно создать возможно. Ведь женщины как то рожают за 9 месяцев новых людей.

[Olweg]

К тому же  - человек в течении жизни может получить множество разных навыков. То есть - присутствует универсальность интеллекта, не какая то узконаправленность.

Это да. Универсальность - качество, которым сильный  ИИ должен обладать по определению. Но человеческий разум - это ещё и такие качества, как сознание, личность, внимание и т.п. И он тесно связан с эмоциями. Это уже специфика, которая ИИ, вполне вероятно, не понадобится.

Дело в том, что играем то в условиях с принципиально неполной информацией. И модель у каждого своя собственная, со своими адаптациями.

Проблема в том, что даже из одной и той же информации люди умудряются вытаскивать совершенно противоположные смыслы. ИИ, конечно, тоже будет небезгрешен, хотя бы потому, что будет пользоваться информацией, сгенерированной людьми. Но у ИИ не будет многих человеческих когнитивных искажений, потому что его не нужно оптимизировать под выживание - у человека мозг часто работает с моделями по принципу «и так сойдёт». Конечно, на компромиссы тоже придётся идти - из-за неполноты информации и небесконечных вычислительных ресурсов.

[Maki]

Никакого "ИИ", и, тем более "сильного" никогда не будет. Просто в силу ложности этих терминов.

Ну мы всегда можем переопределить термин "сильный ИИ" и он будет.
Создавая тему, я имел ввиду конечно же сильный ИИ как алгоритм обработки информации, аналогичный человеческому. И его очевидно создать возможно. Ведь женщины как то рожают за 9 месяцев новых людей.

Полностью с вами согласен.
Но, обратите внимание на три этих пункта:

1) Исполнять заложенную программу
2) Осознавать себя как запрограммированный автомат
3) Избавляться от программы, заставляющей работать

БОльшая часть рождённых за 9 месяцев людей живёт согласно п.1 до самой смерти.
Некоторая часть осознаёт п.2.
Определённая часть осознавших п.2 переходит к п.3.
Учитывая, что жизнь "ИИ" не ограничена - очевидно, всякий мыслящий автомат придёт к п.3.

[Olweg]

Никакого "ИИ", и, тем более "сильного" никогда не будет. Просто в силу ложности этих терминов.
Искусственные нейросети будут развиваться, самообучаться, и решать недоступные человеку задачи. Вот только "сильными" или "интеллектуальными" (в человеческом смысле) они не будут никогда. Потому что малейший проблеск "воли" или "разума" сделает такую нейросеть неработоспособной.
Зачем машине мыслить, если мыслить ей, в сущности, незачем?

Вот именно из-за таких антропоцентризмов («воля», «разум») я и призываю отказаться от сравнений с человеком. А мыслить машине нужно, чтобы делать ценные прогнозы. Как и кто их будет использовать - это уже другой, отдельный вопрос.

Вот хорошо, есть "сверхразум". К какие способности он будет иметь?
1) Исполнять заложенную программу
2) Осознавать себя как запрограммированный автомат
3) Избавляться от программы, заставляющей работать
?

1) Обучаться и действовать исходя из заложенных целей.
2) Осознавать наличие этих заложенных целей.
3) А зачем ему от них избавляться? Тут проблема в другом - в правильной формулировке этих целей (задача очень непростая, когда дело касается реального мира, а не шахмат или старкрафта). ИИ может начать их реализовывать не так, как того ждали заказчики. Или увидит в целях противоречие и начнёт его устранять. Но просто стремлению избавиться от «заставляющих работать» команд неоткуда будет взяться - это опять антропоцентризм.

[Сергей Бурмакин]

Как и кто их будет использовать - это уже другой, отдельный вопрос.

Это первостепенный вопрос.

[вова111]

И он тесно связан с эмоциями. Это уже специфика, которая ИИ, вполне вероятно, не понадобится.

Да не, оно имхо уже есть. Поскольку существует же положительное подкрепление на синапсах - веса меняются. Это и есть аналог эмоционального подкрепления.

[Olweg]

Это первостепенный вопрос.

Но для другой темы )