ИИ: какого понимания нам не хватает?

[alex_semenov]

[Возможно я не совсем верно выразился. Чтобы получить модель звезды, нужно собрать большой массив информации о ней, и на основе ее моделировать.

Разумеется. Но этого все равно мало.
Надо иметь физическую теорию в рамках которой данная звезда - масса материи сжимаемая силой гравитации (набор математических абстракций) уравновешенное от коллапса давлением (термодинамика и очень хитрая!) вызванным термоядерными реакциями (опять таки набор математических абстракций).
Если у вас нет подходящего набора таких базовых теорий (состоящих почти целяком из математики) ваши наблюдения НИЧЕГО НЕ СТОЯТ.
Как не верти, сначала вам надо иметь набор теорий, понимать как они могут взаимодействовать (наиболее абстрактная мета-тероия), а потом уже собирать факты проверяя соответствуют они вашим теориям или нет.

Да почему вы решили, что я его не наблюдаю?

Наблюдаете конечно, но! Где причинно-следственная связь между вашими наблюдениями и теми моделями которые вы выбрали? Какое наблюдение привело вас, к конкретной интересуемой вас модели? Может вы ищите просто там где светло? Тоесть там где вы себя как рыба в воде чуствуете? [/quote]

Нет. Все с точностью до наоборот. Те разделы математики в которых "я как рыба в воде"  (это разумеется преувеличение, даже самоирония) я изучал уже после того как заподозрил что без случайности ИИ не создать. Когда пытался формализовать свои смутные догадки. И я до сих пор испытываю некоторую досаду, что свести концы с концами нельзя в рамках привычной теории вычислений. Что ее надо чуть-чуть расширять (вводить трансфинитные вычисления). Я понимаю насколько сложная эта задача для профессионалов. А любителю это вообще нереально. У меня просто опускаются руки.


Почему я отстаиваю вероятностную модель разума? У меня было "прозрение".
Где-то в первой половине 90-х я игрался с самопальной моделью распознования образов. И ставил перед ней задачу так называемой негеделевой кластеризации. Нужно было входной поток образов (матриц с рисунками разного написания цифр от 0 до 10) разделить на классы. Так как обучающих итераций было много я автоматизировал процесс. То есть программно реализовал не только распознающую сеть, но и механизм подачи серий образов ей на вход. И проделывая массу экспериментов, я пытался найти, оптимизировать алгоритм распознавания. Понастроит идеальные параметры. Делалось это "с кондачка". Иначе бы я с самого начала понял бы, что задача решается мною совсем не так.
Я ошибался с самого начала. Концептуально.
Но. Это была своего рода счастливая ошибка. Рассматривая одну серию входных данных и видя как почти оптимизированная система тупит в одном месте, я подумал. Блин! Ну вот все было бы хорошо если бы вот тут система вместо того что бы делать как надо "сбойнула" и сделала наоборот. А дальше работала бы как следует.  И все получилось бы идеально. Но как же она может "сбойнуть"?
И тут меня самого пробило. А действительно. Для любого сколь угодно совершенного алгоритма всегда найдется ситуация на которой он "затупит". Станет работать не так. Так какой смысл делать алгоритм работающим безошибочно, как предписывает автор? Напротив! Пускай он ошибается! Главное чтобы вредящие ему ошибки (которых будет большинство) он  исправлял (отбор, опыт сын ошибок трудных). А гениальные ошибки-догадки как раз будут всплывать, являться зародышем новых умений! Так и никак иначе! Разум - это эволюция и ничего больше. Это в тайне разума - ГЛАВНОЕ. Все остальное вторично, производно от нее.
Без этого любая сколь угодно сложная программа - тупой болван-исполнитель только того что в него заложили изначально.
С тех пор я не занимался конкретикой.
Я пытался (и то наскоками не спеша) эту свою догадку перевести на язык математики, которого я тогда еще не знал. Скажем, что такое диагональная процедура Кантора я узнал спустя несколько лет.
В общем ваша догадка верна с точностью до наоборот.

[ВадимZero]

Если у вас нет подходящего набора таких базовых теорий (состоящих почти целяком из математики) ваши наблюдения НИЧЕГО НЕ СТОЯТ.

Окей, я еще более уточню свою позицию. Построение теорий и наблюдения должны идти бок о бок. Пускай не так важно с какого конца вы потходите, но если вы упускаете один из элементов, например наблюдение, вы неизбежно скатываетесь в галюцинирование. Модели нужно непрерывно проверять иначе они начнут жить своей жизнью. Они будут как эгоистичные мемы просто паразитировать на вашей психике, не принося пользы вам.

я изучал уже после того как заподозрил что без случайности ИИ не создать.

Я в этом с вами согласен. Только в моей идее разума как супер-пупер ускорителя эволюции, случайность вне разума..она в окружающей энтропии. Заметте лучшие генераторы случайных чисел сами по себе детерминированы, но они работают в паре с источником энтропии. Для разума источником энтропии являеться опыт который он получает в жизни.

Без этого любая сколь угодно сложная программа - тупой болван-исполнитель только того что в него заложили изначально.

Вот видите, для вас разум это нечто что обязательно должно с задачей справиться, а иначе это и не разум. Вы какието черезмерно жесткие условия передним ставите. В реальности большинство людей с задачами не справляються. А те которые генерят массу нового, просто смельчаки готовые шагать по неизведанной територии, а потому находят массу нового. Но уверяю вас многое от их разума ускользает.

С тех пор я не занимался конкретикой.

Что скажите по поводу моего конкретного примера?

[PathFinder]

Покажите на уровне теории алгоритмов чем данные поступающие из внешнего мира отличаются от данных, которые, скажем, предварительно записаны на ленту?
В чем их волшебно-преобразующее отличие?

Во внешнем мире существует ваш любимый Настоящий Хаос, например в виде квантовых эффектов. И вообще, внешний мир континуален со всеми вытекающими последствиями.

[PathFinder]

Иерархия (дерево, в смысле графа) вполне приличная, но не адекватная, на наиболее общем уровне, модель. По определению, на этом уровне, не может быть какой-то выделенной точки отсчета, иначе он недостаточно общий. Расширяющуюся сеть, я еще готов представить, но дерево и тем более последовательность(линию), извините, эти "Лебединые" песни я уже слышал…

А чем "расширяющаяся сеть" отличается от дерева? Наличием горизонтальных связей?
В конце концов можно использовать полный граф. Полнее ничего и придумать нельзя.
А про последовательность (линию) я вроде вообще ничего не говорил...

[PathFinder]

кстати, а в чём вообще проблема с "синтезом"? эволюционный алгоритм справляется с такими задачками нараз, а то, что мы нашему сознанию не все черновики предъявляем -- дык кажется уже достаточно многим понятная вещь.

Дело в том, что выполняя "синтез" человек может действовать с большой долей целенаправленности (см. пункт 2). Человек не крутит постоянно в голове рулетку эволюционного алгоритма. Для меня это наблюдаемый факт, так как у меня на счету несколько патентоспособных технических решений. Вполне могу оценить, как рождается что-то новое.

Вообще в способах решения задач (в том числе и синтеза) мне видится несколько уровней.

1. Предметная область задачи неизвестна. Методы решения аналогичных задач неизвестны.
Тут решением может быть только полный перебор вариантов, если предметная область ограничена и метод случайного тыка, если предметная область бесконечна. (На рассмотрении этого уровня и застрял Семёнов.)

2. Предметная область известна (в ходе "случайных тыков" из пункта 1). Методы решения аналогичных задач неизвестны. Или известны методы решения более простых задач с объектами предметной области.
Уже возможны целенаправленные действия. Отличные от просто генетического (эволюционного) алгоритма. Такие как описаны в начале поста.
Вот это на мой взгляд наиболее интересный и заслуживающий изучения уровень. Нехоженный уровень.

3. Предметная область задачи известна. Методы решения аналогичных задач известны.
Такие задачи вполне решаются всякими базами знаний, семантическими сетями и т.д. Сюда же можно отнести и Эвриско.
Хотя, на мой взгляд, Эвриско даже несколько вылазит в уровень 2.

4. Предметная область задачи неизвестна. Методы решения аналогичных задач известны.
Несколько абсурдная ситуация. Наверно её стоит отнести к пункту 2 или вообще не рассматривать.

[Patsak]

Patsak:
Это не имеет никакого отношения к алгоритмически неразрешимым проблемам.
alex_semenov:
Я говорю об ассоциациях, аналогиях. Разумеется, не имеет.
PathFinder
А чем "расширяющаяся сеть" отличается от дерева? Наличием горизонтальных связей?
В конце концов можно использовать полный граф. Полнее ничего и придумать нельзя.
А про последовательность (линию) я вроде вообще ничего не говорил...
Patsak:
Меня вчера зеленый змий одолел, пардоньте, за менторский тон.

По поводу "синтеза".
Надо понимать, что любой алгоритм синтеза это всего лишь  детерминированный алгоритм. То есть синтезирует он лишь то, что предусмотрел программист. И ничего сверх того.

Да, детерминированный алгоритм синтезирует только то, что предусмотрел программист, за исключением того случая, когда в программу посткпает информация из внешнего мира. Ну очевидно же!

Кто еще так ясно и четко думает?
Признавайтесь!
Делайте шаг вперед!
Ибо…
Это одна из самых глубочайших, заскарузлых и плохо искоренимых БРЕДЯТИН.
Сам ею очень долго болел.

Предположим, мы живем в матрице и являемся для кого-то программами, т.е. искусственным интеллектом. Допустим, мы создали некую модель физического мира в сети квантовых суперкомпьютеров, имитируя поведение частиц материи и физические законы, допустим, там зародилась жизнь (не без нашей помощи) и через некоторое (принудительно ускоренное) время некие представители этой жизни стали проявлять разумное поведение. Например, стали использовать орудия труда, изобрели письменность и т.д. Смотрите вы за ними и понимаете, что некоторая часть их поступков совершенно немотивированна. Например, они стали строить "храмы", стали обращаться к "небу", т.е. к вам, просить о чем-то. Допустим, вы решили им подыграть и изменили вероятности некоторых случайных событий (в основе их мира ведь тоже лежат случайные квантовые процессы). Никакие физические законы ни нашего, ни их мира нарушены не были, материей миры не обменялись, тем не менее, миры обменялись информацией. Если они уловили эти "чудеса" и стали в ответ на исполненные или не исполненные просьбы что-то делать, как-то реагировать, а вы в свою очередь опять как-то стали реагировать, то с вашей точки зрения все выглядит вполне научную, а с их точки зрения весьма мистически (главное управлять Вселенной незаметно - чтобы санитары не заметили ). Допустим, в ходе длительного общения, установились некие общие закономерности обоюдных реакций. Например, вероятность обнаружить электрон в том или ином месте, прохождение им той или иной щели будет вашим ответом на некий их запрос или, в свою очередь, вашим запросом, с целью узнать их ответ. По сути это будет тем самым внешним датчиком, веб-камерой, которой им так не хватало, чтобы заглянуть в большой внешний мир. Если теперь вы приделаете компьютеру "ноги" (в ответ на какую-нибудь их просьбу) и включите их реакцию в процесс обмена информацией, такой ИИ что называется вырвется на свободу - в наш "внешний" мир. Причем для него, еще будет большим вопросом, какой мир внешний. Он то получает информацию на каком-нибудь интерферометре или камере Вильсона, а то и на своем квантовом компьютере. Он будет смотреть на свой монитор, и там он будет видеть наш "внешний" мир, но для него то он будет внутренним. Теперь уже встает вопрос контроля и онтологического основания. Вы думаете, что можете уничтожить этот ИИ отрубив ему сеть. Но он то уже все знает и может "отрубить сеть" вам. Какой мир внешний, а какой внутренний уже большой вопрос. По сути, наш разум находится в точно таком же положении. К нашим мозгам приделаны ноги, мы смотрим в свои "внутренние мониторы" и передвигаемся по внешнему (или внутреннему ?) миру. Когда-нибудь "сеть отрубят" и мы останемся в одном из этих миров уже без связи.
Все эти длинные рассуждения я привел вот к чему.
Во-первых, откуда берется случайность в алгоритмических или неалгоритмических процессах еще большой вопрос. Таймер, к которому привязываются генераторы случайных чисел - это ведь тоже своего рода машина Тьюринга.
Во-вторых, немотивированное, неразумное, точнее не рациональное поведение, может являться той самой необходимостью, которой не хватает для понимания ИИ.
Т.к. прогресс с созданием такого матрешечного мирка, даже на суперкомпьютерах, на данный момент практически нереален, можно предложит чуть более реалистичный альтернативный вариант - проводить опыты на себе.
Например, можно перемешать сигналы всех рецепторов, для начала, в глазах, а потом и в других органах чувств. Например, изображение на глухих очках или контактных линзах, с крохотными камерами прогонять через алгоритм, типа Пекаря.
Сначала вы попадете в "прекрасный новый мир". Потребуется куча времени, чтобы уловить в этом белом шуме очертания привычных предметов. Думаю, это пройдет через стадии линейного, плоского и только потом, объемного восстановления образов действительности. А в промежутках откроется очень много забавного и удивительного в самых обычных предметах, которое мы сейчас просто не замечаем, т.к. распознавание образов перешло в автоматическую стадию, мы видим только то, что должны видеть, остальное игнорируется.

[omnidroid]

Почему у нас пока не получается создать искусственный интеллект?
По вычислительной мощности суперкомпьютеры понемногу приближаются к мозгу, однако пути для создания ИИ пока не видно.

Приведенные в популярной литературе попытки создать ИИ делятся на наивные и слабые.

Наивные - это совсем не интересно. Наивные попытки заключаются в том, чтобы сразу непосредственно имитировать высшую функцию мозга - способность логически объяснять самому себе (редуцировать) суть своего понимания.

Слабые попытки сводятся к построению нейронных сетей, эволюционных алгоритмов и прочего. Здесь все гораздо интереснее.
Почему эти попытки так же не особо срабатывают?
Я предполагаю следующее.
.....

Что значит они не особо срабатывают?
Все исследованные структуры мозга, какие удалось повторить в математических моделях, прекрасно работают. Самоорганизующиеся карты самоорганизуются, персептроны обучаются как приближать функции, так и обобщать и упрощать множества входных значений, неокогнитроны прекрасно познают и распознают образы, их движение, выделяют оси симметрии и всё это - независимо от сдвигов, поворотов и прочих искажений.

Можно сказать, что мы - эдакий леонардо да винчи, которому дали поиграться с телевизором. То, что телевизор работает на электричестве, мы уже поняли, и даже сумели понять конструкцию и принцип действия трансформаторов и конденсаторов. Ну, то есть, мы знаем. что если подать на трансформатор определённый ток, то на выходе мы получим ток с другими параметрами, мы методом тыка определили зависимости, знаем, как в определённых пределах можно менять параметры прибора, но теории, описывающей все электрические, там, электромагнитные и прочие законы, создать ещё не смогли.

В мозгу до 100 000 000 000 нейронов и до 1 000 000 000 000 000 связей между ними. Именно структура связей задаёт функциональные возможности. Простой подсчёт потребной для значений этих связей памяти даёт 4 000 терабайт (если, например, использовать 4-байтовые переменные для описания силы связи). Я уж молчу о памяти, необходимой для описания самой структуры этих связей. И уж подавно не заговариваю о производительности системы, которая требуется, чтобы всё это ворочать. Плюс не надо забывать, что мозг - реально огромная структура, очень разнообразная, а не просто охренеть какой большой многослойный персептрон. Даже если хватит мощностей - так запрограммировать её всё равно должны люди. Главным образом, именно этого и не хватает.

Я уже поднимал тут одну тему, и какого именно понимания не хватает - кажется, понял. Познание - процесс рекурсивный. Разум - это и есть эта самая рекурсия познания.

Во-первых, есть уровни абстракции. На каждом уровне - вещи определённой сложности. Чтобы познать любую сложную форму, нейронная сеть должна сначала познать и научиться выделять элементарные детали - линии, точки пересечения и перегибы, взаимное расположение деталей. Неокогнитрону (сети, наиболее близкой по структуре к строению зрительной коры), чтобы распознавать простые образы типа букв и символов, требуется четыре уровня абстракции. На первом это непосредственно восприятие множества входных сигналов от "глаза". Эти множества начинают возбуждать отдельные нейроны, то есть, низводятся до "точек", абстрактных таких, подразумеваемых деталей, понятий, и уже совокупность этих абстрактных деталей по разному возбуждает нейроны, ответстенные за "понятия" более сложные. На третьей-четвёртой стадии абстракции уже возможно абстрагировать символы. То есть, возбуждаются те отдельные нейроны (если упрощать описание), которые отвечают за конкретные буквы. Очевидно, что простым увеличением уровня абстракции можно добиться различения не отдельных букв, а слов целиком (так как это будут просто совокупности деталей-букв с предыдущего слоя), фраз и далее - более крупных языковых конструкций. Представьте себе, если вы должны последовательно прочитать все слова, возможно даже не один раз, чтобы выстроить в мозгу описываемую картину, то искусственная сеть достаточной сложности сможет глотать описания целыми блоками и понимать весь заложенный в текст смысл разом. То есть, мы должны вчитаться в текст, чтобы выделить отдельные ситуации и описания. А искусственная сеть будет видеть в тексте эти ситуации и описания так же просто, как мы видим отдельные буквы. Хотели сверхспособностей искусственного интеллекта? Вот, пожалуйста.

Во-вторых вытекает из во-первых. Любой рекурсивный процесс должен иметь начальные условия и условия выхода. Начальные условия на примере неокогнитрона - это детерменированное проектировщиком обучение первичных слоёв сети на различение заданных фигур - линий различного наклона. То есть, некий "чистый", "сферический разум в вакууме" невозможен, он обязан иметь некую элементарную понятийную базу, чтобы комбинируя их освоить первые более сложные понятия.

Затем можно заметить, что более сложные понятия, будучи уже познанными, спокойно могут становиться базисом новых абстракций уже без учёта предшествующих уровней. То есть, опять же, на примере неокогнитрона - ему предъявляют букву. На разные линии возбуждаются отдельные нейроны следующего уровня. Но один нейрон, откликающийся на "линия в центре поля зрения, наклон 15 градусов" уже не сообщает о том, что именно в точности он увидел. Нейрон, откликающийся на символ "А", откликнулся на определённую совокупность линий. Но на сивол "а" откликнется этот же самый нейрон, хотя совокупность деталей будет абсолютно другой. На разных уровнях процесс технически абсолютно аналогичный - совокупность деталей (понятий) предшествующего уровня порождает единственный (если точнее - обобщённый) отклик на уровне последующем, и этот отклик не говорит, что именно было на уровне предыдущем. То есть, в принципе, сложность абстракций можно наращивать до бесконечности.

И тут возникает вопрос, когда и как прервать сей процесс, чтобы получить сведения - что мы там наабстрагировали? Если понаблюдаете сами за собой, то можете заметить, как часто вы замечаете сложные вещи, не обращая при этом внимания на детали. Я, скажем, как-то прочитал табличку с улицей и номером дома, и затем уже понял, что не обратил никакого внимания на то, были ли там чёрные буквы на белом фоне или белые буквы на синем фоне. Меня же не это интересовало. Пришлось ещё раз посмотреть. Глядя на заваленный инструментами стол, легко не заметить отдельных инструментов и не помнить, лежала ли там где-то отвёртка или молоток. Глянув мельком на игру в футбол, легко не заметить, кто куда там бежал, в какой форме играли, у кого был мяч и так далее. Точно так же можно видеть некие составляющие части, но не понимать картины в целом - так как ещё не выработан соответствующий уровень асбтракции для видимых деталей.

Это технически абсолютно объяснимо. Скажем, в неокогнитроне с четырьмя уровнями абстракции только на первом и последнем уровне понятно, что именно абстрагируется - элементарные линии разного наклона на первом и уже целые образы на последнем. Что творится на третьем и четвёртом уровнях - абсолютная каша. Посмотреть можно, понять - нет. Это также как вы видите целое, но не замечаете составляющих - их ещё надо научиться замечать и различать. А теперь представьте себе некий "скайнет", который вдруг решил, что чтобы люди перестали убивать друг друга, нужно убить всех людей самому. Вот вам наглядный пример излишней абстракции - решение, конечно, снимет проблему убийств, а тот факт, что это и будут те самые убийства - он просто затеряется среди абстракций. Как теряется разница между А и а, если вас интересует фонема буквы, а не начертание, как теряется разница в цвете табличек, если вас интересует надпись на ней, а не её дизайн и так далее.

Для иллюстрации уровней абстракции во вложении картинка. Отклики различных слоёв неокогнитрона. Обратите внимание на слой Uc1 - это первый уровень абстракции, выделяющий отдельные, заранее заданные ориентации линий. Обратите внимание на слой Uc4 - это одноклеточные слои, возбуждающиеся на образы (совокупности деталей) определённого класса. И обратите внимание на промежуточные слои, где абсолютная каша, с каждым уровнем имеющаяя всё менее очевидную связь с исходным образом.

В-третьих, неокогнитрон, конечно, даёт представление о том, как происходит процесс познания, но этого мало. Познание (как обучение видеть детали не в отдельности, а в совокупностях, как новые единые понятия, явления), как видно, происходит достаточно просто и механистично. Неокогнитрон, напомню, основан на структуре зрительной коры. Есть все основания распространить принципы работы зрительной коры на все остальные участки. Хотя понятно, что там могут быть различия, но это единое цельное образование, поэтому схожие принципы функционирования там быть обязаны. А это значит, что сам процесс познания вообще похож на принцип познания образов неокогнитроном - который, как уже сказано, весьма прост, механистичен и неизбежен. Если вы постоянно видите неизвестный образ, вы не можете не научиться рано или поздно узнавать его (познать). Смотря на уже знакомый образ, вы не можете не распознать его (хотя можете не замечать составляющие его детали). Это всё - конечно, познание, но ещё не разум.

Взять этот же неокогнитрон - он пассивен. Он, конечно, познаёт. Но ему плевать, что он там познаёт. У него нет интереса. Он просто работает, как вращается пропеллер под напором воздуха. Очевидно, что у нас есть интерес - мы выбираем, что познавать. У нас есть некий механизм, который уже известные нам знания снова и снова пускает по кругу, даже если нет внешних сигналов. То же сознание, внутренний монолог, постоянная прокрутка образов - механизм пока неизвестен.

Но - как эти знания вообще образуются? Ведь если неокогнитрон не направлять при обучении, у него на всех слоях будет такая же бессистемная каша, как на промежуточных уровнях абстракции.

Неокогнитрон, как и любые другие искусственные нейронные сети, опирается на заданные проектировщиком базовые понятия и обучается различению образов на заданном же уровне абстракции. Заданные базовые понятия в нашем мозгу уже есть - спасибо эволюции. Но человек может научиться извлекать информацию с разных уровней абстракции. Причём, это именно некий отдельный механизм, который получает сигналы с разных уровней абстракции нашего собственного "неокогнитрона" и учится извлекать из этого информацию. Заметьте, как просто глядя на текст на экране переносить внимание на его смысл, на отдельные слова, буквы, на начертание букв, на цвет и фон их изображения, на размер, находить одинаковые буквы и более мелкие детали. Как значительно сложнее находить одинаковые слова и фразы. И как непросто среди кучи носков найти одинаковую пару. Хотя казалось бы, задача же принципиально та же. То есть, происходит именно обучение, развитие способности извлекать информацию разного уровня абстракции в различных ситациях и есть определённые чисто технически (значит - тут именно какой-то механизм спрятан) обусловленные ограничения в сложности извлекаемой информации. И вот эту информацию уже можно заново пускать по кругу в "познавательную" часть коры, чтобы попытаться обобщить уже её.

С другой стороны, есть необходимость не просто распознавать абстрагированную кашу. Нужно разные уровни абстракции направлять на необходимый путь обучения, чтобы как раз получать не кашу, а полезный сигнал. Обучаясь без учителя, неокогнитрон никогда не узнает, что А и а - это почти одно и то же. Искусственный неокогнитрон узнаёт об этом от учителя. Наша кора - из какого-то пока неизвестного нам механизма.

Ну и не надо забывать, что нужно не только уметь обобщать, но также уметь извлекать детали из общего.

Резюмируя понаписанное.
Что известно:
1. Механизм познания известен. Не теория, не закон, а именно механизм - мы можем его повторить.
2. Механизму необходим базовый набор понятий, который может быть только задан извне.
3. Уровни абстракции подобны друг другу. Понятия, выработанные уже в процессе познания, могут быть основой дальнейшего познания аналогично базовому набору понятий.

Что неизвестно:
1. Механизм "зацикливания", внутреннеего монолога. Как извлекаются знания из нашего "неокогнитрона", когда нет учителя? Как они поступают в него заново, для дальнейшего обобщения? Есть лишь подсказка - это необходимость обмена информацией между нами. Если бы наш мозг был "сферическим разумом в вакууме", которому нет нужды с кем-то общаться, то любое бесконечно умное и сложно-абстрагированное понятие, выраженное в активации группы нейронов, ничем бы физически не отличалось от активации другой группы нейронов, сигнализирующей лишь о том, что у "разума" зачесалась его сферическая в вакууме пятка. Но и то - это лишь способ конечного, осознанного выражения этих знаний, так, чтобы они были понятны не только нам, но и другим.
2. Принцип работы внутреннего "учителя" - а именно, классификации. Скажем, как я уже говорил, А и а для неокогнитрона разные образы, пока учитель не скажет обратное. Однако мы и без учителя способны классифицировать. Принцип классификации на самом деле элементарен - самоорганизующиеся карты Кохонена очень просты и основаны именно на структурах мозга. Непонятен механизм взаимодействия между самоорганизующимися картами и "неокогнитроном".
3. Самая главная проблема - мотивация. Что заставляет человека познавать? Причём, познавать не всё что попало, а имено интересующие вещи. Не удовлетворяться только познанием массы несвязанных с собой вещей (хотя есть и такое - простое любопытство), а именно углублением и как можно более полным познанием чего-то одного.

Зачем я столько понаписал? Ну, я вот как раз вёл свой внутренний монолог, выражал его в тексте с целью структурировать, иметь возможность перечитать и систематизировать, извлечь новые знания. Кстати, в процессе написания сам понял некоторые вещи, о которых ранее не задумывался.

Я вижу, в теме уже дошли до споров о том, как происходит решение задач, а не собственно познание. В процессе писанины у меня родилось некое ощущение, что поиск решения - это то же самое познание. Познание с одной стороны - способов решения, с другой стороны - решаемой проблемы. Когда происходит обобщение, когда найдено общее между тем и другим - возникает решение. Но развивать мысль я уже не могу, думалка стала. Как-нибудь потом.

[PathFinder]

2. Принцип работы внутреннего "учителя" - а именно, классификации. Скажем, как я уже говорил, А и а для неокогнитрона разные образы, пока учитель не скажет обратное. Однако мы и без учителя способны классифицировать. Принцип классификации на самом деле элементарен - самоорганизующиеся карты Кохонена очень просты и основаны именно на структурах мозга. Непонятен механизм взаимодействия между самоорганизующимися картами и "неокогнитроном".

А мне казалось, что и для человека А и а - разные образы. Пока учитель не научит обратному или пока человек это сам где-то не подсмотрит.

[незлой]

если честно, 2 мне кажется просто помесью 1 и 3: ищем паттерны на новой территории, в первую очередь держа в голове уже известные паттерны.

Изобретен прибор, с помощью которого слепые могут "видеть" языком

[PathFinder]

В процессе писанины у меня родилось некое ощущение, что поиск решения - это то же самое познание. Познание с одной стороны - способов решения, с другой стороны - решаемой проблемы. Когда происходит обобщение, когда найдено общее между тем и другим - возникает решение. Но развивать мысль я уже не могу, думалка стала. Как-нибудь потом.

То есть поиск решения - это ассоциирование имеющихся способов решения проблемы и условия решаемой проблемы.
Это ситуация, описанная в пункте 3 вот этого моего поста (перейти по ссылке):

[Прохожий]

....
Изобретен прибор, с помощью которого слепые могут "видеть" языком

Тоесть фактически изобретена возможность подключать к мозгу любые внешние датчики независимо от характера среды.
P.s.
Но это сообщение уже было.....

[PathFinder]

если честно, 2 мне кажется просто помесью 1 и 3: ищем паттерны на новой территории, в первую очередь держа в голове уже известные паттерны.

Самое главное, что я хотел сказать тем своим постом, что существует некая, мне пока неизвестная, возможность двигаться к решению задачи более целенаправленно, чем позволяет просто эволюционный алгоритм сам по себе.

[PathFinder]

Изобретен прибор, с помощью которого слепые могут "видеть" языком

И, что интересно, внешняя информация, поступающая в мозг от глаз и от этого прибора, одна и та же, а квалиа получаются разные.

[-Asket-]

Допустим, в ходе длительного общения, установились некие общие закономерности обоюдных реакций. Например, вероятность обнаружить электрон в том или ином месте, прохождение им той или иной щели будет вашим ответом на некий их запрос или, в свою очередь, вашим запросом, с целью узнать их ответ.

http://kobak.livejournal.com/91411.html#cutid1

В мозгу до 100 000 000 000 нейронов и до 1 000 000 000 000 000 связей между ними. Именно структура связей задаёт функциональные возможности. Простой подсчёт потребной для значений этих связей памяти даёт 4 000 терабайт (если, например, использовать 4-байтовые переменные для описания силы связи). Я уж молчу о памяти, необходимой для описания самой структуры этих связей. И уж подавно не заговариваю о производительности системы, которая требуется, чтобы всё это ворочать. Плюс не надо забывать, что мозг - реально огромная структура, очень разнообразная, а не просто охренеть какой большой многослойный персептрон. Даже если хватит мощностей - так запрограммировать её всё равно должны люди. Главным образом, именно этого и не хватает.

И это тоже, да вот хоть последняя работа гугля - уровень насекомого по числу нейронов, хотя у насекомых организация нервной системы вообще сильно отлична от нашей и такие сравнения очень грубы. Однако, это крупнейшая реально работавшая нейронная сеть на данный момент.

В 2007 году ученые из Google (и по совместительству из Стэнфорда) предложили модификацию алгоритма с частичным присутствием учителя, который они назвали алгоритмом "самообучающеегося обучения" (self-taught learning). Они заметили, что домашнее задание в существовавших на тот момент алгоритмах предполагается связанным с основным процессом обучения. То есть, например, если мы учимся распознавать животных, то в изображениях из домашнего задания тракторов и мотоциклов не будет.
С одной стороны, такой подход кажется логичным, однако ученые из Google задались вопросом: быть может, пользу принесет и домашнее задание, не связанное непосредственно с той задачей, в решении которой упражняется программа? Вдруг, например, звуки природы позволят более эффективно распознавать человеческую речь? Среди прочего, они мотивировали свой вопрос еще и такими неформальными рассуждениями: в человеческом мозгу порядка 10¹⁴ синапсов, а время жизни типичного Homo Sapiens - порядка 10⁹ секунд. Считая, что синапсы образуются в результате обучения и каждому из них соответствует всего один бит информации, получаем, что в среднем в секунду человек выучивает порядка 10⁵ бит информации.
При всей уязвимости этой аргументации, разумное зерно в ней есть: вероятно, значительная часть обучения происходит без участия самого человека на основе неотсортированных данных, которые, возможно, и не были связаны с исходной задачей. Более того, например, в задаче распознавания образов пользу от предварительной подготовки можно указать явно. Вполне может случиться, что после такой подготовки система начнет анализировать изображение не только на основе набора пикселей, но и по "мазкам" - резким ярким продолговатым пятнам, образующим контур в изображении с высокой контрастностью. Эти объекты, по словам ученых, относятся к более высокому уровню анализа изображений, нежели отдельные пиксели или просто светлые пятна неопределенной формы.
В новой работе, приуроченной к 29-й конференции по машинному обучению в Эдинбурге, ученым впервые удалось применить свои идеи на практике и доказать, что их подход действительно работает. В эксперименте использовалось 1000 серверов с примерно 16 тысячами ядер. Всего полученная нейронная сеть содержала примерно 3 миллиона нейронов и 1,15 миллиарда синапсов. Для сравнения, до этого в экспериментах по машинному обучению применялись только сети с 1-10 миллионами связей.
В качестве неотсортированного обучающего множества было взято 10 миллионов скриншотов различных случайных видео с YouTube. При работе нейронной сети каждый скриншот обрабатывался серией фильтров, прежде чем непосредственно подвергнуться анализу. В результате такой обработки каждая картинка сводилась к изображению 200 на 200 пикселей.
При построении сети ученые исходили из гипотезы локальной связности - они предполагали, что каждый нейрон соединен лишь с небольшим количеством соседних. Это предположение вполне разумно, если учесть, что нейронная сеть в человеческом мозгу именно так и устроена. Кроме этого, ученые опирались на результаты нейробиологов об анализе изображений человеком - они полагали, что изображение не анализируется целиком. Вместо этого оно разбивалось на пересекающиеся куски 16 на 16 пикселей, каждый из которых подвергался анализу отдельно.
После трех дней интенсивной самоподготовки сети ученые проверили результаты. Оказалось, что система не только научилась распознавать технические нюансы, наподобие уже упоминавшихся "мазков". Совершенно самостоятельно нейронная сеть научилась различать объекты сложной природы, например, человеческие лица, части тел, пешеходов на улицах. Более того, немного подучив систему с помощью уже отсортированных данных, ученые добились точности распознавания в 15,8 процента, что является колоссальным рывком в сравнение с прежними 9,3 процента для самых совершенных из существующих систем.
Впрочем, в новости нейросеть от Google попала вовсе не из-за масштабности и необычности результатов. Дело в том, что в результате изучения скриншотов с YouTube система самостоятельно научилась распознавать котов (подтвердив тем самым стереотипы, связанные с этим видео-сервисом).
Повсеместное развитие новой концепции останавливает, однако, высокая вычислительная сложность нейронных сетей. Это, конечно, временно: решить эту проблему поможет дальнейший рост мощностей, а также создание компьютеров с архитектурами, "заточенными" под нейронные сети (работы в этом направлении ведутся, например, в Intel - там создают нейроморфные чипы).
http://lenta.ru/articles/2012/06/29/cats/

Изобретен прибор, с помощью которого слепые могут "видеть" языком

Там не только сам прибор, все намного интереснее, почитайте, вот здесь большое интервью с автором изобретения, я уже давал ссылку в другой теме: http://nature-wonder.livejournal.com/189322.html#cutid1

[Patsak]

http://kobak.livejournal.com/91411.html#cutid1

http://www.membrana.ru/particle/1956

[omnidroid]

2. Принцип работы внутреннего "учителя" - а именно, классификации. Скажем, как я уже говорил, А и а для неокогнитрона разные образы, пока учитель не скажет обратное. Однако мы и без учителя способны классифицировать. Принцип классификации на самом деле элементарен - самоорганизующиеся карты Кохонена очень просты и основаны именно на структурах мозга. Непонятен механизм взаимодействия между самоорганизующимися картами и "неокогнитроном".

А мне казалось, что и для человека А и а - разные образы. Пока учитель не научит обратному или пока человек это сам где-то не подсмотрит.

А и а это пример. Нетрудно вообразить себе более сложные явления, о которых (если хватает ума и знаний) ты внезапно сам понимаешь, что это явления аналогичные, относящиеся к одному классу.

[omnidroid]

Изобретен прибор, с помощью которого слепые могут "видеть" языком

Я такой прибор "изобрёл" где-то так с полгода-год назад, принцип же на самом деле очевидный. Язык, а ещё лицо, ладони - наиболее подробно картографированные в коре мозга части тела. Поэтому простая проекция изображения на чувствительный участок кожи путём какой-либо её стимуляции просто обязана заместить зрение глазами - иначе и быть не может. И не требуются никакие сложные устройства, как с 2000 года появились "эхолокаторы", преобразовывающие изображение в звук, позволяющие людям "видеть" ушами.

Можно увеличивать разрешение стимулятора, можно находить разные способы стимуляции (имитировать касание, давление, укол, холод, тепло), это в принципе могло бы позволить передавать в мозг очень подробную картинку, вопрос оставался бы лишь в том, насколько мозг может научиться визуализировать её.

А ведь можно не только незрячим зрение замещать. Можно и зрячим расширять возможности. Скажем, проецировать на лоб картинку, снятую тепловизором. Или сделать камеру заднего обзора. Не отдельный экран, на который надо переводить взгляд, а воспринимать сразу и то, и то.

[Patsak]

Patsak:
Вы должно быть располагаете четкими, ясными критериями, какой хаос является псевдослучайным, а какой истинно случайным.

alex_semenov:
А вы разве нет? Любой хаос, порождаемый некоторой программой ( можно уточнить без входа) и есть детерминированный хаос. Например разряды числа "пи":
3,1415. . .
Настоящий, чистый хаос не порождается никаким сколь угодно сложным алгоритмом.
Настоящий, чистый хаос не порождается никаким сколь угодно сложным алгоритмом.
Чем он порождается? Понятия не имею! Если угодно богом. Но мы четко знаем что за хаосом квантовой механики нет никаких скрытых параметров то есть, иначе говоря, никакой псевдослучайности.

Пока, экспериментальные проверки неравенств Белла, опровергли досрочно широкий класс детерминистических теории, но не все. Уверен, будут опровергать и в последующем, с все большей степенью точности и убедительности. Но причину этого вижу не в отличиях алгоритмической и неалгоритмической случайности, а в отсутствии четких границ между ними. Если поведение частиц не случайно, то уровень закономерностей столь высок, что соответствует разумному поведению, что в свою очередь означает, практически полную их непредсказуемость.
Что касается разных видов невычислимости. Вспомним историю с обратными математическими операциями. Сначала, на заре математики, вычитание из меньшего числа большего было просто запрещено. Количество, меньшее нуля, меньше "ничто", представлялось абсурдом. Потом кого-то осенило, что с этими "невычислимыми" числами  можно обращаться почти также свободно, как с обычными, положительными натуральными. Вот вам первый пример, когда "невычислимость" была "опровергнута". Я бы сказал так, "невычислимые" числа так и остались "невычислимыми", в старом понимании, просто люди научились обращаться с разными видами невычислимости: -1, -2, -7 … Причем на первом уровне отрицания, правила обращения с "невычислимыми" числами оказались столь же просты, как правила обращения с обычными "вычислимыми": 1,2,7…
Следующая обратная операция - извлечение корня. Из отрицательных чисел его извлекать не могли – это были "невычислимые" числа. Потом, конечно, разобрались, появились комплексные числа, свойства которых оказались сложнее, чем свойства обычных "вычислимых" на тот момент чисел. Чуть раньше случилась история с иррациональными "невычислимыми" числами, числом пи и т.п. Потом пошли кватернионы, потом гиперкомплексные числа и т.д. Потом Кантор и кардиналы с ординалами.
Т.е.общая закономерность выглядит примерно так. Сначала есть что-то "невычислимое", связанное с обратными операциями: в логическом смысле это отрицание, в математическом - любая операция, расширяющая исследуемое поле чисел. Через какое-то время приходит понимание, что эти "невычислимости" имеют сложную структуру и свои правила, тем более сложные и не походящие на правила обращения с "вычислимыми" числами, тем большее отрицание преодолевается. Потом эти "невычислимые" числа вводятся в обиход, как вычислимые, а граница "невычислимости" сдвигается в область еще больших отрицаний, еще более сложных обратных операций.
Т.е. развитие представлений, о вычислимом и невычислимом идет по пути изучения "сферических коней в вакууме" в каждый исторический момент, конечно. Как известно, драконов не существует, но каждый из них не существует по – своему и в каждый исторический момент происходит медленное, а потом бифуркационное, выделение некоторой совокупности драконов, несуществующих определенным, ранее не понятым способом в область существования и "вычислимости".
Точно также и представления о бесконечном уточняются по мере развития, а граница бесконечного приближается к нам все ближе и ближе. И причина этого в том, что мы не можем провести четкую границу между тем, что конечно и тем, что бесконечно, т.е. не можем четко описать, обрисовать границы исследуемых предметов (кроме тривиальных случаев), будь то материальные объекты или мысленные конструкции, случайности или алгоритмически вычислимые функции, неважно.
На данный момент есть "сферические кони в вакууме" связанные с самореференцией универсальных машин, а в области теории чисел и теории множеств, известные факты о персонаже, который настолько крут, что может делить на ноль и различить пару пустых множеств.

[omnidroid]

Что касается поиска решений.

Некая, страдающая неполнотой, но всё же картина тут построена может быть.
Что немаловажно - тут достаточно хорошо подходят уже исследованные структуры.

Вот поставлена некоторая задача.

Первое. Нужно исследовать или доисследовать предметную область. Это работа для "неокогнитрона". Как уже говорил, процесс рекурсивный. То есть, сначала заучиваем простые составляющие (понятно, базовый набор понятий у нашего мозга имеется, образование получали, там, и т.п.). Принцип чисто неокогнитроновский - простое заучивание новых символов. Потом эти азы иерархически организуются в более сложные понятия предметной области. Принцип всё тот же неокогнитроновский, просто уровень абстракции выше, в общем случае уровней несколько. Чем выше уровень абстракции, тем большая часть понятий/символов будет браться из уже изученного множества. То есть, мы уже не столько заучиваем новую информацию, сколько организуем имеющуюся. Но принцип технически тот же, что при первичном заучивании - неокогнитрон. Здесь однако есть разница - добавляется механизм внутреннего монолога и вызова недавно заученных знаний из памяти, плюс, возможно, добавление данных извне. Здесь пробел, принцип и механизм неизвестен (ну или просто мне непонятен).

Второе. После исследования новой порции информации делается попытка её классификации. Делается помимо нашего желания, просто потому что иначе мозг не работает. Как я это вижу - вновь изученное понятие в виде вектора своих составляющих предъявляется биологическому аналогу карты Кохонена. Карта кохонена - это именно пространственная карта, по которой распределенно множество многомерных векторов. Особенность этой карты в том, что соседние в пространстве карты векторы подобны (то есть, соседствуют и в n-мерном пространстве веткоров). Так вот, вновь изученное понятие предъявляется этой карте, и на ней активируются нейроны, ассоциированные с векторами, наиболее близкими к новому. Новый вектор сравнивается с подходящими к нему ассоциациями. Здесь можно либо прийти к заключению, что новое понятие, очевидно, почти подобно уже известному, либо же обнаружить, что есть свойства, противоречащие друг другу в новом и известном понятиях. В первом случае можно считать, что понятие успешно исследовано (и здесь зарыта возможность ошибочной классификации, если по причине нехватки знаний или наблюдений не удалось обнаружить противоречащие компоненты), либо не подходит ни один вектор и нужно доизучить понятие. Например, вы знаете понятия "колесо", "колесо от телеги", "колесо от автомобиля", "шестерня". Каждое из этих понятий имеет схожий, но в чём-то различающийся набор свойств. Столкнувшись с, например, маховиком, вы совершите прогон по известным вещам и определите, что это точно не шестерня, точно не колесо автомобиля, возможно колесо от какой-то тележки/вагонетки, либо вообще - колесо пока непонятного предназначения. В случае с тележкой вы ошибётесь, в случае с непонятным предназначением вы будете знать, что нужно доисследовать предмет.

Причём, описанный прогон осуществляется сознательно. Ассоциации всплывают самопроизвольно, причём всплывают во внутреннем монологе, при виде исследуемого объекта (если есть с чем ассоциировать), и сравнение векторов как минимум отчасти происходит сознательно. Здесь может происходить сравнение не просто двух векторов/понятий одного уровня абстракции, а различные комбинации как сравниваемых понятий, так и их составных вещей (например, когда человек сталкивается со сложным понятием/явлением/объектом, подобия которому не знает - тут остаётся только переходить на иные уровни абстракции, более низкий - составные части, и более высокий - взаимосвязи нового объекта с другими, уже известными). Сознательно обнаруживаются схожие или взаимоисключсающие признаки. Затем когда отброшены очевидно неподходящие вектора (шины нет - не от автомобиля, зубцов нет - не шестреня...), человек концентрируется на наиболее подходящем (колесо вагонетки!), вызывая тем самым ассоциации со всеми видами вагонеточных колёс, которые ему известны. Опять множество векторов для сравнения, процесс повторяется.

В общем, постоянный примерно такой цикл: сигнал извне -> данные в неокогнитрон -> активация самоорганизующейся карты -> активация ассоциативной памяти -> результат передаётся во внутрений монолог + (при необходимости доизучения) сигнал извне -> данные в неокогнитрон...
Что касается ассоциативной памяти, тут, если не ошибаюсь, также есть исследованные и работающие структуры сетей. Но я их не знаю, и не могу судить об принципиальной возможности их применения здесь. Однако это должно быть именно как отдельный механизм, потому что карта Кохонена или неокогнитрон дают лишь возможность переходить от деталей к общему, а надо также иметь возможность от общего понятия переходить к составляющим его частям.

Где здесь происходит решение? А вот где. Выше описан процесс познания предметной области задачи. При решении задачи вы будете искать в своей памяти понятия, схожие с изучаемыми, не просто какие попало (хотя это и помогает собственно познанию), а по возможности из предметной области предполагаемого способа/метода/принципа решения. Будете дробить стоящую задачу на составляющие более простые части до тех пор, пока не найдёте в своей памяти подходящие аналоги из предметной области решения. В случае, если таковых не нашлось - будете доизучать предполагаемую предметную область решения по тому же самому принципу, что и предметную область задачи. Когда белых пятен не останется, вы просто совершите "перевод" из понятий предметной области задачи в понятия предметной области решения.

Наиболее простой для меня пример - програмирование. Скажем, стоит задача написать некую программу, базы даных там, таблички, отчёты. Дроблением данной задачи на "переводимые" составляющие будет написание технического задания. Поиск решения - поиск конструкций в языке и инструментарии программирования аналогичных абстрактным конструкциям, описанным в задании.

Я склоняюсь к тому, что скорее всего это единственный доступный нам подход. Потому что если посмотреть на иные решённые людьми задачи, там в принципе всё подобно, разница лишь в глубине разложения предметных областей на составляющие (возможно, для последующего синтеза составляющих в новые понятия предметных областей) да в том, что иной раз предметная область решения точно не известна, и тогда просто происходит попытка использовать любую произвольную предметнуюю область, кажущуюся наиболее подходящей. Как, например, Фейнман сочинял теории об элементарных частицах, глядя на подбрасываемые в воздух тарелочки. Или как при несоответствующих теориям результатах экспериментов просто добавляли "виртуальную" частицу, на которую списывали всё лишнее или недостающее - и оказывалось в итоге, что частица-то не виртуальная. Ну и я уж молчу об гуманитарных или всяких природоведческих науках на раннем этапе, там бывали совершенно идиотские теории, и авторы разных теорий об одном и том же прямо глотки драли за них - именно потому, что для их мозга это были наиболее правильные теории и других они принять не могли (не знали иных предметных областей). Так и ждали, бедные, пока придёт кто-то ещё и наконец осуществит синтез всего того.
Здесь не надо забывать, что интеллект всегда, с самого начала, обладает набором базовых понятий. Поэтому ему всегда есть, чему уподоблять компоненты стоящей перед ним задачи. Однако, есть одна лазейка для генерации знаний как бы из ниоткуда - это природные способности нейронных сетей к вычислениям, к приближениям, способность нашего мозга к визуализации (особенно - к визуализации численно и количественно выражаемых явлений) - тогда может родиться теория, которая не просто обосновывает наличие совокупности отдельных компонентов в неком явлении, а заполняет все пробелы и позволяет заглянуть за изученные пределы. Но это совсем другая история.

Сложность здесь в том, что принцип-то помыслить и описать можно, а вот с конкретной реализацией проблема. Потому что если следить за собой, как думаешь, как изучаешь что-то, как возникает решение - видно, что это не чётко разбитый на этапы процесс, а бешенная рекурсия, бегающая туда-сюда от простого к сложному, от сложного к простому, от одной области к другой, но каким-то образом всё же умудряющаяся выстроить более-менее стройную и систематизированную картину.
Другая сложность в наличии многих уровней абстракции, которые никак не могут быть выстроены в некую чёткую систему. Скажем, в плане классификации, математическая модель карты Кохонена предполагает упорядочение векторов с общим для всех набором измерений. Cкажем, сложное понятие состоит из трёх базовых составляющих A=(x, y, z). Какая должна быть карта, чтобы она могла классифицировать вектор A вместе с вектором B = (A, u, v, w), то есть где уже A является базовым для B понятием и вообще количество компонент другое?

[omnidroid]

Кстати. Именно для решения задач механизм внутреннего монолога имеет принципиальное значение. Без него можно даже не начинать.

Мы ведь по сути просто мысленно проговариваем изучаемый предмет и/или решаемую задачу.
Потому уже проговоренное пападает в "автоматические", бессознательно действующие участки мозга, и в результате возникают в воображении варианты решения (то есть, аналогии из предметной области решения).

А теперь вспомним, чем любят заниматься всякие психологи, как бы помогая людям решать беспокоящие их проблемы? Прааавильно, стимулируют человека на разговор, где психолух практически пассивен и только поддакивает да задаёт наводящие вопросы - то есть, человек проговаривает проблему, с помощью речи создаёт её абстрактную структуру. Дальше мозг уже сам всё классифицирует, систематизирует, обобщает и опа - зарождаются некие мысли о способах решения проблемы.

В общем, правильно говорят - правильно сформулированная задача это и впрямь половина решения.
А правильно заданный вопрос - половина ответа.
Если мы хотим сделать ИИ, который способен решать задачи, то он обязан для начала уметь эти задачи сам формулировать (не ставить, конечно, а именно формулировать).