Нейроны, приближения функций и понятий

[omnidroid]

Вот смотрите.

Например, чтобы смоделировать определение некоего понятия, достаточно одного нейрона. На входы обученого нейрона подаём понятия определения, на выходе получаем ответ, насколько поступившие данные соответствуют определяемому объекту.

Например, подали вектор значений (круглый = 1,0; прыгает = 0,0), получили ответ, что (мяч = 0,5) (то ли мяч, то ли не мяч)
Но это только в случае, если мы сами установили соответствие входов конкретным понятием и сами же определили степень их достоверности (привели значение "круглый" к 1, "прыгает" к 0).

Существуют ли какие-то теоретические представления о том, как в нейронных моделях можно определять базовые аксиоматические понятия без того, чтобы заносить их извне? Например, можно ли, и если да, то как, сделать сеть, которая сама будет давать ответ, скажем, об элементарных понятиях фигур - прямая, кривая, круг, квадрат?

[alex_semenov]

Ничего себе вопрос!
 
Вы имеете в виду, если склероз меня не подводит, негеделеву классификацию?
Я много лет назад (лет 15-17) игрался с одной забавной стахастической нейрнонной сетью, корую пытался научить такому, как мне казалось, простому трюку.
У вас есть разные написания цифр 1,2,3... 9,0 в виде матрице черно-белых точек 8 на 8 (или 16 на 16? Не помню уже). Типичный входной образ некого перцептрона. Подавая на вход некий произвольный поток разных написаний (входных матриц) надо было добиться их правилньй классификации. Не важно в каком порядке. Но важно как, но  чтобы двойки попадали к двойкам, тройки к тройкам и так далее. И кое-что даже получалось… Но…
Я достаточно долго экспериментировал (пробуя разные подходы) и знаете чем все закончилось?
Я заподозрил, что задача НЕ ИМЕЕТ РЕШЕНИЯ.
Нет алгоритма, который бы всегда давал правильный результат. Для любого критерия можно так подобрать входной поток, что он напихает разные образы в один и одни в разные.
Суть ведь в чем? Нейросети это ведь не какая-то там панацея.  Это исчисление матриц. Любая сеть прекрасно эмулируется на последовательном универсальном вычислителе и В ЛЮБОМ СЛУЧАЕ всегда идет речь о неком алгоритме.
Согласны?
Есть ли алгоритм? Нет ли алгоритма? В конечном итоге речь идет ТОЛЬКО об этом.

Собственно говоря как вас СЮДА с таким вопросом то занесло?

[Yuri]

Нет, товарищ как бы спрашивает про самозарождения классификационных понятий. Чтобы сеть сама додумалась до элементарных фигур, десятичных цифр, а там и до трансфинитных чисел и вариационного исчисления недалеко! 

[omnidroid]

Нет, товарищ как бы спрашивает про самозарождения классификационных понятий. Чтобы сеть сама додумалась до элементарных фигур, десятичных цифр, а там и до трансфинитных чисел и вариационного исчисления недалеко! 

Ну это ты тут набредил, сам "додумавшись".
а на самом деле такие вещи, как прямые линии и кривые изобретать путём изощрённой философии не требуется.
Предлагаю пойти поумничать в другом месте, если здесь ничего по делу сказать не в состоянии.

Кстати, что произошло у тебя, как не самозарождение новых невероятных знаний о том, что я там имел ввиду?

[omnidroid]

Ничего себе вопрос!
 
Вы имеете в виду, если склероз меня не подводит, негеделеву классификацию?
Я много лет назад (лет 15-17) игрался с одной забавной стахастической нейрнонной сетью, корую пытался научить такому, как мне казалось, простому трюку.
У вас есть разные написания цифр 1,2,3... 9,0 в виде матрице черно-белых точек 8 на 8 (или 16 на 16? Не помню уже). Типичный входной образ некого перцептрона. Подавая на вход некий произвольный поток разных написаний (входных матриц) надо было добиться их правилньй классификации. Не важно в каком порядке. Но важно как, но  чтобы двойки попадали к двойкам, тройки к тройкам и так далее. И кое-что даже получалось… Но…
Я достаточно долго экспериментировал (пробуя разные подходы) и знаете чем все закончилось?
Я заподозрил, что задача НЕ ИМЕЕТ РЕШЕНИЯ.
Нет алгоритма, который бы всегда давал правильный результат. Для любого критерия можно так подобрать входной поток, что он напихает разные образы в один и одни в разные.
Суть ведь в чем? Нейросети это ведь не какая-то там панацея.  Это исчисление матриц. Любая сеть прекрасно эмулируется на последовательном универсальном вычислителе и В ЛЮБОМ СЛУЧАЕ всегда идет речь о неком алгоритме.
Согласны?
Есть ли алгоритм? Нет ли алгоритма? В конечном итоге речь идет ТОЛЬКО об этом.

Собственно говоря как вас СЮДА с таким вопросом то занесло?

Я не знаю, как там оно называется. Просто должны существовать какие-то базовые вещи, которые будут определяться сами по себе, хотя бы как приближения математических функций и отношений, что для нейронов естественно.

Что касается нерешаемости задачи, то, во-первых, нашим мозгом она успешно решается (то есть, нейронная сеть способна это делать в принципе), и, во-вторых, это всё же основывается на некоторых изначально введённых извне образцах. Например, нам всем когда-то рассказали и показали, что цифра "четыре" может быть изображена и подобно букве "ч", и как прямоугольнй треугольник с катетами, удлинёнными со стороны прямого угла. И всевозможные вариации между. Полной самостоятельности тут нет, а даже если бы мы исследовали некую азбуку инопланетян с заведомо неизвестными символами, то в этом случае бы потребовались сложные методы анализа, которые выходят далеко за рамки естесвенных для простых нейронных сетей способностей.

Но классифицировать прямые, кривые, кружочки, многоугольнички-то можно?

[Yuri]

Эксперименты с отдельными нейронами зрительной коры выявили врожденную функцию нейронов-детекторов. Так, у новорожденных макак-резус уже сформированы не только детекторы вертикальных/горизонтальных линий, но и нейроны, дающие отклик только на изображение лиц макаки. Таким образом, зрительная кора - это не просто сложная иерархическая нейросеть, это уже структура, заранее настроенная на эти самые элементарные отклики, которые могут быть не настолько простыми (во всяком случае, у высших позвоночных на примере макак вокруг распознавания лица  и эмоций много чего наверчено).

Другими словами, в устройстве зрительной коры эти самые элементарные отклики таки запрограммированы "извне".

[Ssid]

Например, чтобы смоделировать определение некоего понятия, достаточно одного нейрона. На входы обученого нейрона подаём понятия определения, на выходе получаем ответ, насколько поступившие данные соответствуют определяемому объекту.

Так, у новорожденных макак-резус уже сформированы не только детекторы вертикальных/горизонтальных линий, но и нейроны, дающие отклик только на изображение лиц макаки.

не крутоваты ли запросы к одному нейрону?
одиночный нейрон на обработку информации не способен

[Yuri]

Википедия конечно тот ещё источник, но сложные и сверхсложные зрительные нейроны там упомянуты:

Экстрастриарная зрительная кора (поля Бродмана 18 и 19) находится за пределами первичной зрительной коры.[2] Здесь нейроны могут иметь очень большие рецептивные поля, и для их активации могут потребоваться очень непростые изображения. Например, рецептивные поля нейронов нижневисочной извилины (англ. inferotemporal cortex), пересекают среднюю линию зрительного пространства, и эти нейроны активируются такими сложными визуальными образами, как радиальная решётка или кисти рук. Также было обнаружено, что нервные клетки вентральной поверхности веретеновидной извилины (на границе между затылочной и височной долями), где находится так называемая «зона распознавания лиц» (англ. fusiform face area), реагируют, в основном, на изображения лиц.[10] Это важное открытие было получено с помощью технологии функциональной магнитно-резонансной томографии. Позднее оно было подтверждено на уровне исследования нервных клеток.[11] Подобным способом проводятся поиски других специфических зон зрительной коры; например, имеются относительно недавние публикации, полагающие, что так называемая парагиппокампальная навигационная зона (англ. parahippocampal place area) может быть отчасти специализрована к распознаванию зданий. Кстати, в одном из последних исследований высказывается предположение, что «зона распознавания лиц» веретеновидной извилины, возможно, не только выполняет функцию, отражённую в её наименовании, но и вообще служит для различения отдельных частей целого.

[Yuri]

Вот неожиданно по ссылке википедии обнаружил, что попытки сконструировать нейросеть по принципу зрительной коры уже были:

Когнитрон  — искусственная нейронная сеть на основе принципа самоорганизации. Своей архитектурой когнитрон похож на строение зрительной коры, имеет иерархическую многослойную организацию, в которой нейроны между слоями связаны только локально. Обучается конкурентным обучением (без учителя). Каждый слой мозга реализует различные уровни обобщения; входной слой чувствителен к простым образам, таким, как линии, и их ориентации в определенных областях визуальной области, в то время как реакция других слоев является более сложной, абстрактной и независимой от позиции образа. Аналогичные функции реализованы в когнитроне путем моделирования организации зрительной коры.

В литературе к этой статье довольно любопытный источник, мне кажется по теме.

[Ssid]

Википедия конечно тот ещё источник, но сложные и сверхсложные зрительные нейроны там упомянуты:

Экстрастриарная зрительная кора (поля Бродмана 18 и 19)

да вики далеко и не самый худший источник...

А возвращаясь к теме - поля Бродмана не являются первыми нейронами получающими информацию, к ним информация приходит уже частично переработанная от многих других нейронов.
Одиночный нейрон способен реагировать по принципу компьютерного компьютерного бита - да/нет и не надо требовать от него "внутринейронной обработки" по типу

Например, подали вектор значений (круглый = 1,0; прыгает = 0,0), получили ответ, что (мяч = 0,5) (то ли мяч, то ли не мяч)

или тем более

разные написания цифр 1,2,3... 9,0 в виде матрице черно-белых точек 8 на 8 (или 16 на 16? Не помню уже)

[Ssid]

искусственная нейронная сеть на основе принципа самоорганизации. Своей архитектурой когнитрон похож на строение зрительной коры, имеет иерархическую многослойную организацию

ничего подобного такому

чтобы смоделировать определение некоего понятия, достаточно одного нейрона

я не встречал

[Yuri]

Ну мне казалось очевидным, что речь идёт не о первичных нейронах, непосредственно связанных с сетчаткой.

[Ssid]

Ну мне казалось очевидным, что речь идёт не о первичных нейронах, непосредственно связанных с сетчаткой.

речь автором темы велась о том, что одиночный нейрон способен к обработке информации
в то время как те же нейроны полей Бродмана - лишь один из этапов её обработки

Так, у новорожденных макак-резус уже сформированы не только детекторы вертикальных/горизонтальных линий, но и нейроны, дающие отклик только на изображение лиц макаки.

есть же и нейроны которые до этого изображение горизонтальных/вертикальных линий получали, те которые обработали информацию (да, это вертикальная линия - надо этот сигнал направить тому-то нейрону)
есть нейроны которые перед этим отсортировали лицо макаки от лица человека или шимпанзе
одиночный нейрон получив уже обработанную информацию активизируется ими, передает "куда-надо" сигнал - "вон там лицо макаки"

[ТикТак]

Нет, товарищ как бы спрашивает про самозарождения классификационных понятий. Чтобы сеть сама додумалась до элементарных фигур, десятичных цифр, а там и до трансфинитных чисел и вариационного исчисления недалеко! 

Ну это ты тут набредил, сам "додумавшись".
а на самом деле такие вещи, как прямые линии и кривые изобретать путём изощрённой философии не требуется.
Предлагаю пойти поумничать в другом месте, если здесь ничего по делу сказать не в состоянии.

Кстати, что произошло у тебя, как не самозарождение новых невероятных знаний о том, что я там имел ввиду?

Это вообще нереально просто потому что нейрон в мозге не несёт информацию о мячике или о лице обезьяны.
В мозге нет нейронов Клинтона (нейроны моей бабушки по Русски).
В мозге нейрон запоминает или просто передаёт информацию лишь об одном пикселе из мячика и не более увы. Поэтому  даже странно когда сравнивают искусственные сети  с живыми.

[ТикТак]

.....
Это вообще нереально просто потому что нейрон в мозге не несёт информацию о мячике или о лице обезьяны.
В мозге нет нейронов Клинтона (нейроны моей бабушки по Русски).
В мозге нейрон запоминает или просто передаёт информацию лишь об одном пикселе из мячика и не более увы. Поэтому  даже странно когда сравнивают искусственные сети  с живыми.

А это как понимать?

Что как?

[ТикТак]

.....
Это вообще нереально просто потому что нейрон в мозге не несёт информацию о мячике или о лице обезьяны.
В мозге нет нейронов Клинтона (нейроны моей бабушки по Русски).
В мозге нейрон запоминает или просто передаёт информацию лишь об одном пикселе из мячика и не более увы. Поэтому  даже странно когда сравнивают искусственные сети  с живыми.

А это как понимать?

Что как?

Витализм значит.....

 Причём тут витализм?

[Проходящий Кот]

.....
Это вообще нереально просто потому что нейрон в мозге не несёт информацию о мячике или о лице обезьяны.
В мозге нет нейронов Клинтона (нейроны моей бабушки по Русски).
В мозге нейрон запоминает или просто передаёт информацию лишь об одном пикселе из мячика и не более увы. Поэтому  даже странно когда сравнивают искусственные сети  с живыми.

А что тут странного. Или что, естественные сети непознаваемы?

[ТикТак]

.....
Это вообще нереально просто потому что нейрон в мозге не несёт информацию о мячике или о лице обезьяны.
В мозге нет нейронов Клинтона (нейроны моей бабушки по Русски).
В мозге нейрон запоминает или просто передаёт информацию лишь об одном пикселе из мячика и не более увы. Поэтому  даже странно когда сравнивают искусственные сети  с живыми.

А что тут странного. Или что, естественные сети непознаваемы?

http://bluegene.at.ua/news/rossijskie_uchenye_sozdali_iskusstvennuju_nervnuju_sistemu/2010-12-20-29

 На этом уровне познаваемы. Швейцарцы обещают и больше к 2023 году.

[omnidroid]

Ещё раз повторяю.

Вот у нас есть нейрон. Два входа, один выход, веса равны единице (допустим, это получилось в результате обучения), функция активации линейна, нормализована.

Некая ВНЕШНЯЯ система (экспериментатор или большая нейронная сеть, частью которой является этот нейрон) решила (неважно как), что первый вход учитывает степень круглости премета, второй - степень прыгучести. Данные характеристики введены в оборот и их значения определены и даны нейрону извне. Нормализованная сумма входов даёт ответ ВНЕШНЕЙ системе, насколько входной вектор правильнот описывает МЯЧ. Это было решено ВНЕ нейрона, нейрону знать о том, что он за значения суммирует, ни к чему. Это не влияет на правильность результата, что круглый (0,94) и прыгучий (0,82) объект вероятнее всего (0,89) является мячом.

Тут мы можем прийти, например, к гениальной мысли, что "мяч" - это не только понятие, но и характеристика некоего другого понятия. Например, вектор (мяч = 0,89; маленький = 0,8) скорее всего является описанием мяча для тенниса.
Можем прийти ещё к одной гениальной мысли, что если понятие может превратиться в характеристику, то и характеристика может состоять из понятий.

И вот тут наступает момент, когда нам требуются некие базовые понятия, которые могут быть определены всё же не экспериментатором, а некими структурами нейронной сети, которые обучились самостоятельно. Чисто в силу врождённых способностей нейронных структур к обработке информации. Как те же самые карты Кохонена, способные классифицировать взаимосвязи между понятиями, вообще не зная ничего о понятиях. Но они определяют именно взаимосвязи. Как быть с определением базовых понятий? Хотя бы физических характеристик?

[ТикТак]

Ещё раз повторяю.

Вот у нас есть нейрон. Два входа, один выход, веса равны единице (допустим, это получилось в результате обучения), функция активации линейна, нормализована.

Некая ВНЕШНЯЯ система (экспериментатор или большая нейронная сеть, частью которой является этот нейрон) решила (неважно как), что первый вход учитывает степень круглости премета, второй - степень прыгучести. Данные характеристики введены в оборот и их значения определены и даны нейрону извне. Нормализованная сумма входов даёт ответ ВНЕШНЕЙ системе, насколько входной вектор правильнот описывает МЯЧ. Это было решено ВНЕ нейрона, нейрону знать о том, что он за значения суммирует, ни к чему. Это не влияет на правильность результата, что круглый (0,94) и прыгучий (0,82) объект вероятнее всего (0,89) является мячом.

Тут мы можем прийти, например, к гениальной мысли, что "мяч" - это не только понятие, но и характеристика некоего другого понятия. Например, вектор (мяч = 0,89; маленький = 0,8) скорее всего является описанием мяча для тенниса.
Можем прийти ещё к одной гениальной мысли, что если понятие может превратиться в характеристику, то и характеристика может состоять из понятий.

И вот тут наступает момент, когда нам требуются некие базовые понятия, которые могут быть определены всё же не экспериментатором, а некими структурами нейронной сети, которые обучились самостоятельно. Чисто в силу врождённых способностей нейронных структур к обработке информации. Как те же самые карты Кохонена, способные классифицировать взаимосвязи между понятиями, вообще не зная ничего о понятиях. Но они определяют именно взаимосвязи. Как быть с определением базовых понятий? Хотя бы физических характеристик?

 
 
Попробую объяснить что тут можно придумать.
Для этого нужны только гибридные нейронные сети подключённые к интернету и оператор на начальном этапе загрузки. Нейронные сети ведут отбор информации а компьютерная программа  выискивает аналогии в интернете и предоставляет их нейронным сетям. 
Оператор вводит данные летящего  мяча в первый нейрон и информацию о футбольном поле во второй нейрон.
Гибридный комп выискивает аналогии в интернете и предоставляет их нейронным сетям для выработки понятия о том на какой высоте и в каком месте поля должен находится мяч.
Нейронные сети(как символ положительных эмоций) выделяют мяч от поля и сравнивают данные с первым нейроном и вторым для уточнения.
Если информация не обнаруживается то программа (как символ отрицательных эмоций) находит погрешности в виде прогиба мяча и на основе этих данных снова даёт команду нейронным сетям на поиск вариантов прогиба.
Далее программа опять уже сама создаёт аналогии полёта мяча уже без интернета и уже без нейронных сетей находит нужный вариант ответа. Всё понятие выработано...
Сложно, дорого но гипотетически  реально так при помощи интернета и гибридных сетей создать ИИ. Где искусственные нейронные сети заменяют дофаминовое полушарие мозга а компьютерная программа норадреналиновое полушарие мозга. Тоесть мы подменяем чувства и эмоции гибридностью...