Пределы автоматизации и внедрения роботов

[Maki]

Аналоговый нейрон например

Нейрон, по своей природе, как раз не аналоговый, а вполне цифровой. Хоть и на биохимических механизмах. Синапс работает по принципу 0 - 1. Да, возможна гибель нейрона, его гипоксия, нарушение питания. Синапс может истощиться, и синаптическая передача сигнала станет по сути неопределённой. Но в норме, нейрон, его аксон и дендриты - что-то типа сложной и вполне надёжной микросхемы.

[MenFrame]

Это всё ещё на два порядка больше, чем у GPT-4 с её ~2 трлн. параметров, если верить утечкам. У шимпанзе синапсов больше, но этого им недостаточно. Размер всё-таки имеет значение.

Размер имеет значение во многом в рамках эволюции. Поскольку эволюция как инженер довольно тупа, то многие задачи решает методом грубой силы, с последующей оптимизацией. Современные нейронки кстати тоже грубой силой действуют, только в рамках обучения, благодаря переработке огромного массива опыта.

[MenFrame]

Нейрон, по своей природе, как раз не аналоговый, а вполне цифровой. Хоть и на биохимических механизмах. Синапс работает по принципу 0 - 1.

Синапс как раз скорей аналоговый, а вот сам нейрон дискретный. Он либо включается если сигнатура распознана, либо не включается если сигнатура сигналов не соответствует синаптическому паттерну активации. То есть сама работа нейрона скорей аналоговая, результат работы дискретный(да, нет)

[Maki]

Синапс как раз скорей аналоговый

Сами понятия аналоговый/цифровой очень условны. ЭВМ хоть на лампах, хоть на транзисторах обязаны работать одинаково, и выдавать предсказуемый результат. Но вот усилитель на лампах, для некоторых аудиоманьяков даёт некий особый, "тёплый-ламповый" звук. Мозг, полагаю, всё-таки ближе к ЭВМ.

а вот сам нейрон дискретный

В точности наоборот. Задача дендрита, аксона и синапса - точная передача импульса. И про возможные нарушения этого правила, вы можете прочитать в моём предыдущем сообщении. А вот сам нейрон... ХЗ, как говорится. Нейрофизиологи копаются в нём до сих пор.

[Olweg]

Людей не распознает когда на лицо что-то намазано. Работы еще непочатый край. LLM против старых алгоритмов конечно крут.

Это всё детали. У людей очень хорошо заточен мозг под распознавание лиц. ИИ в целом лучше среднего человека. Но есть профи, которые обходят нейросетки. В любом случае, уж такая задача, как распознавание образов, решена уже давно (лет десять как). Я писал не про распознавание как таковое, а про работу с распознанными объектами (словами, понятиями) дальше.

А что тогда значит общая архитектура? Аналоговый нейрон например, он с этими электрохимическими сигналами что делает? У него есть какая-то заданная цель?

Такая же, как у цифрового - передать сигнал. Или не передать. Я считаю, что важность аналоговости в живом мозге не стоит преувеличивать.

Успехи второй весны ИИ благодаря тому что появилось гигантское количество транзисторов в виде видеокарт.

Но другие направления не "выстрелили".

Да, ChatGPT увеличил количество этих параметров на несколько порядков, но почти таким же и остался. А у человека имеется примерно такое же количество синапсов как и у гориллы.
Вот и я говорю - это провал.

Почти таким же, как GPT-1? Вы шутите?

[Maki]

В конце концов, разум возник только у животного с порядка ~1014 синапсов в коре ГМ.

Ну, если придерживаться установленного в разделе словаря "Разум – интеллект человеческого уровня начиная с ашельской культуры." - это утверждение уже сомнительно. А сколько синапсов было у носителей олдувайской культуры? Мы даже не знаем. Но культура уже была. А что до самого словаря - почему censоredглазые япошки, хоть и охотятся на китов, но признали их разумными? И нейронов (и, вероятно, и синапсов) и у китов, и у слонов больше, чем у нас. Тут куча вопросов, сомнений и неопределённости.
ИМХО, но "разум" - это не какое-то дискретное явление. Типа вот его всё не было, не было, и хренакс - и он есть. Существо, оснащённое проприоцепцией, и способное к условному рефлексу, уже в некоторой степени "разумно". И, например, то, что стайные птицы и млеки способны ко вполне себе примитивной, но "культуре" - давно установленный факт. Да и "зеркальный тест" проходят многие виды.
Но разумеется, мы, на каком-то этапе антропогенеза, совершили в этом деле качественный переход. Неандертальцы тоже были не дураки. Но глобулярный мозг оказался эффективнее. Так что дело не только в количестве, но и в качестве.
Так, не в плане дискуссии. Просто уточнение.

[MenFrame]

Сами понятия аналоговый/цифровой очень условны.

Для того кто в этих понятиях плавает.

Но вот усилитель на лампах, для некоторых аудиоманьяков даёт некий особый, "тёплый-ламповый" звук.

А вы видимо считаете что чьи то бзики подогретые маркетологами это аргумент.

Мозг, полагаю, всё-таки ближе к ЭВМ.

ЭВМ бывают разные, как цифровые, так и аналоговые.

В точности наоборот. Задача дендрита, аксона и синапса - точная передача импульса. И про возможные нарушения этого правила, вы можете прочитать в моём предыдущем сообщении. А вот сам нейрон... ХЗ, как говорится. Нейрофизиологи копаются в нём до сих пор.

Непонятно с чего бы это в точности да наоборот если вы ХЗ?

Задача дендрита, аксона и синапса - точная передача импульса.

Дендрит, аксон это просто провод передающий электрохимический импульс. Он вообще не занимается обработкой информации, так же как USB провод не занимается этим.

[troglodit888]

Дендрит, аксон это просто провод передающий электрохимический импульс. Он вообще не занимается обработкой информации, так же как USB провод не занимается этим.

https://habr.com/ru/articles/486794/
https://www.science.org/doi/10.1126/science.aax6239

Там всё аналоговое скорее всего. А цифровым оно становится только в моделях. Поскольку модель - это математическая абстракция и там многое упрощается. Ну и вычислительная сложность как бы.

[Rattus]

То есть сама работа нейрона скорей аналоговая, результат работы дискретный(да, нет)

То есть каждый нейрон есть ничто иное как АЦП.

Сами понятия аналоговый/цифровой очень условны.

Само понятие цифровой - предельно конкретно. Это работа по принципу "всё или ничего", а множественно - в рамках конечного автомата. Когда у конечного автомата становится неразличимо много состояний его начинают называть "аналоговым вычислителем". Вот и вся реальная суть этих понятий.

В точности наоборот. Задача дендрита, аксона и синапса - точная передача импульса.

ЩТО?
Соединение молекулы медиатора с рецептором на постсинаптической мембране - дискретный акт. Когда множество этих молекул подходит ко множеству рецепторов и получается в итоге какой-то уровень локального потенциала - это "аналоговое" явление. Когда этот локальный потенциал превышает критический уровнь деполяризации и запускается цепная разрядка мембраны потенциалом действия - это дискретное явление. Когда потенциалы действия генерируются с какой-то частотой - это "аналоговое" явление. И т.д. и т.п...

[Maki]

Для того кто в этих понятиях плавает.

Говорите за себя.

А вы видимо считаете что чьи то бзики подогретые маркетологами это аргумент.

Может вы просто туговаты на ухо? Я вот тоже не понимаю в парфюме. Аносмия, увы. Но разные ароматы, вне зависимости от меня, есть.

ЭВМ бывают разные, как цифровые, так и аналоговые.

Спасибо, Капитан!

Непонятно с чего бы это в точности да наоборот если вы ХЗ?

Перечитайте сообщение ещё несколько раз.

Дендрит, аксон это просто провод передающий электрохимический импульс. Он вообще не занимается обработкой информации, так же как USB провод не занимается этим.

Вот не знал. Спасибо, вы открыли мне глаза.

[MenFrame]

https://habr.com/ru/articles/486794/
https://www.science.org/doi/10.1126/science.aax6239

Но в любом случае такая местная обработка может подготовить или настроить систему так, чтобы она реагировала на будущие входящие сигналы по-другому, как говорит Шеперд.

Судя по тому что написано, дендрит некое продолжение синапса. То есть обработка идет не только на уровне синаптической щели, но и прилегающих проводящих путей.

[Olweg]

ИМХО, но "разум" - это не какое-то дискретное явление. Типа вот его всё не было, не было, и хренакс - и он есть. Существо, оснащённое проприоцепцией, и способное к условному рефлексу, уже в некоторой степени "разумно". И, например, то, что стайные птицы и млеки способны ко вполне себе примитивной, но "культуре" - давно установленный факт. Да и "зеркальный тест" проходят многие виды.

Согласен.

Но разумеется, мы, на каком-то этапе антропогенеза, совершили в этом деле качественный переход.

Примерно 50 тлн. Да, архитектура мозга, конечно, тоже важна. Например, у слонов чуть ли не 98% нейронов приходится на мозжечок (хобот!), а на кору остаётся только несколько млрд, сравнимо с шимпанзе и дельфинами, что для такого крупного интеллектуального животного уже не так и много.

[Maki]

Примерно 50 тлн.

У меня есть подозрение, что даже 2 млн. Есть мнение, что-де Хаблилис колотил камень о камень инстинктивно, получая орудия случайным образом. ИМХО, это полная дурь. Тем более, череп совершенно беззубого, с редуцированными альвеолами старика из Дманиси чётко говорит о том, что даже у низколобых недосапиенсов была забота о стариках, а значит и, как минимум, семейная культура, а значит и разум в нашем, человечием смысле.

Например, у слонов чуть ли не 98% нейронов приходится на мозжечок (хобот!), а на кору остаётся только несколько млрд, сравнимо с шимпанзе и дельфинами, что для такого крупного интеллектуального животного уже не так и много.

Ну наш кортикальный гомункулус тоже выглядит не как Филя Киркоров. Манипуляторы  (личное мнение) - важнейшая составляющая разумной деятельности.

[Rattus]

Судя по тому что написано, дендрит некое продолжение синапса.

Именно. Причём нейроны в ЦНС (ассоциативные и двигательные) как правило имеют относительно весьма короткие дендриты - некоторые "входящие" синаптические контакты могут лежать буквально на теле нейрона. И дендриты, как и тела нейронов, не имеют миелиновой изоляции. Так что "однозначный примитивный проводник" уже "суммированного" сигнала в нейроне - это только аксон. Всё остальное в нейроне - и есть тот самый "сумматор"-"обработчик" входящих сигналов.

[Maki]

"обработчик"

Хотелось бы уточнить. Дендрит, таки, обработчик, или просто нечёткий проводник?

[Сергей Н]

Но интересный факт - модели могут создавать собственные внутренние языки, непонятные человеку, как, например, Dall-e.

Ваш же пример по ссылке говорит об обратном. Хайп есть, а собственный язык не создан.
Хотя, именно создание собственного языка, это надежный маркер появления интеллекта. Но только не очередной бессмысленный набор букв переданный куда-то неизвестно зачем. От языка польза есть, иначе это не язык.

[Сергей Н]

Я писал не про распознавание как таковое, а про работу с распознанными объектами (словами, понятиями) дальше.

Дальше, после распознавания пустота. Не в коня корм как говорится. За то распознал 100500 объектов за секунду, грубо обобщив при этом. Там вообще архитектуру для чего создают? Когда сетку для нормального анализа сделают?

Такая же, как у цифрового - передать сигнал. Или не передать. Я считаю, что важность аналоговости в живом мозге не стоит преувеличивать.

Если бы все было так просто, то нейроны бы эволюционировали совсем по другому и они не жрали бы столько ресурсов. А по факту эволюции, получилось, что у человека в коре самые крутые нейроны каких нигде больше нет. Самые сложноустроенные клетки вообще. Кроме того, они имеются разных видов, которые соединены в слоистые структуры.

Но другие направления не "выстрелили".

Это эффект первого опыта. Нашли способ как извлечь хоть какую-то пользу из накопившихся массивов БД и сверхмощьного железа. А дальше непошло.

Почти таким же, как GPT-1? Вы шутите?

3.5 против 4.

Пользователи платных версий недавно отмечали, что 4о даже глупее 4. (Конечно многие не согласны.)

Похоже, разработчики поняв, что невозможно улучшить интеллектуальные свойства, начали проталкивать разные сервисные примочки.

Для примера. Теперь оно не только календарь ваш знает, но и может генерировать интерфейсы чатбота, который ведет с вами бесседу голосом.

[Olweg]

Дальше, после распознавания пустота. Не в коня корм как говорится. За то распознал 100500 объектов за секунду, грубо обобщив при этом. Там вообще архитектуру для чего создают? Когда сетку для нормального анализа сделают?

Ну, если вы считаете, что в языковых моделях «после распознавания пустота», то не вижу смысл что-то дальше обсуждать.

[Серый Страж]

В нейронную сеть удалось встроить функцию торможения
https://neuronovosti.ru/v-nejronnuyu-set-udalos-vstroit-funktsiyu-tormozheniya/
Ученые встроили в биофизическую модель нейронной сети мемристор — устройство, которое имитирует синапс, то есть контакт между нервными клетками головного мозга. Мемристор позволяет воспроизвести изменения в работе синапса, которые происходят в естественных условиях при обучении и запоминании информации. Благодаря этому устройство поможет приблизить механизмы работы искусственного интеллекта к тому, как работает наш мозг, и позволит в будущем быстрее проводить сложные вычисления, в том числе при реализации подобных моделей в нейроморфных чипах. Результаты исследования, поддержанного грантом РНФ, опубликованы в журнале Chaos, Solitons & Fractals.

Исследователи заменили тормозную синаптическую пластичность в биофизической модели нейросети на мемристивную пластичность. Модель тормозной синаптической пластичности, хотя и имитирует биологический процесс, не может быть физически воплощена в виде устройства. Поэтому авторы на примере математических моделей проверили, можно ли внедрить в нейросеть мемристор и тем самым воспроизвести экспериментально наблюдаемый эффект регуляции процессов возбуждения и торможения живых нейронов. Оказалось, что замещение тормозной синаптической пластичности мемристором не сказывается на динамике модели и позволяет также воспроизводить эффекты, наблюдаемые в экспериментах на мозге, когда проверяется память или отклик нейронов.

Таким образом, на примере созданной модели исследователям удалось показать, что внедрить мемристор в сложные нейронные сети, имитирующие системы человеческого мозга, действительно возможно. Это важно в первую очередь для того, чтобы повысить эффективность нейроморфных вычислительных систем, то есть систем, действующих по аналогии с человеческим мозгом. В дальнейшем эти результаты можно будет использовать при разработке архитектуры реальной нейронной сети, воспроизводящей биологические функции, например, обладающей памятью.

[Rattus]

Комментарий модератора раздела

troglodit888 получает 10% предупреждений за неоднократный оффтоп о сознании. Сообщения отделены в соответствующую тему.

Хотелось бы уточнить. Дендрит, таки, обработчик, или просто нечёткий проводник?

Если бы вы таки дали себе труд прочитать по приведенной troglodit888 ссылке на синопсис работы 2020 года, то сами бы поняли что дендрит - именно что сам обработчик, а не просто "какой-то" проводник: "дендриты генерировали локальные пики, у них были свои нелинейные кривые входа/выхода, и свои собственные пороги активации, отличавшиеся от нейрона в целом. Сами дендриты могли работать в качестве вентилей «И», или размещать на себе другие вычислительные устройства."
Хотя об этом писалось и ранее в статье 2017 года: "дендриты возбуждались чаще, чем тела нейронов, с которыми они связывались: частота возбуждения дендритов была в 5 раз выше во сне и в 10 раз выше при бодрствовании чем частота возбуждения тел нейронов. Логичное объяснение этому — это то, что дендриты не пассивны, а могут сами генерировать возбуждение."

Теперь возвращаемся к неотвеченному на предыдущей странице:

Попробуйте процитировать.

Вот:

В хаотическом наборе символов её нет.

Текст должен иметь смысл, как минимум для его автора.

Кто автор геномных текстов? Только не нужно пытаться рассказывать, что геномные последовательности - это не текст практикующему молмикробиологу, который, чтобы не заморачиваться и по-быстрому найти интересующий его ответ, открывает секвенированный геном в самом обычном виндовом текстовом "Блокноте" и ищет нужную ему последовательность через Ctrl-F, получая вполне осмысленный, практически применимый результат (например о том, что этот фрагмент, а значит и несущий его штамм бактерии содержит плазмиду вполне конкретного семейства), причём спустя восемь лет после того, как Microsoft успешно использовала ДНК как носитель вполне уже нашей - культурной информации, тем самым доказав, что принципиально он ничем не отличается от любого другого.
А также спустя почти три года после этого обсуждения.

Разве вы не успешно читаете, в т.ч. неподобающую бредятину, и не транклюкируете её именно по причине отсутствующего или извращённого содержания по прочтении?

Транклюкирую только то, где успешно НЕ нахожу сколь-нибудь существенного смысла для читателей. Причём смысл этот может быть не только тот, который хотел вложить сам автор, но иногда и прямо противоположный (например как поучительный пример того, какие могут рождаться чудовища сна разума). Кстати - нагляднейший пример можете видеть в первой строке Нашей подписи, если её разгадаете - это не очень сложно: достаточно знать как работает адресация на форуме.

Каких? Я что, писал что А.Т. хакнул зелёных человечков?

Вы писали

Неправда.

В ответ на то, что

Тьюринг бы всецело согласился. Ибо он работал с последовательностями, у которых был совершенно точно известный отправитель и круг получателей.

Хотя дальше это всецело подтверждаете:

Пока Тьюринг не нащупал "Хайль censored", ничего бы он не взломал. Хотя круг и даже язык общения был ему ясен.

Именно известность языка (чего заведомо нет, например, в случае инопришленцев)  ему позволила подобрать ключевые слова и убедиться в правильности расшифровки. Почему вы там решили неукоснительно соблюсти взаимоисключающий параграф - решительно непонятно.