Пределы автоматизации и внедрения роботов

[MenFrame]

То  есть подсчёт операций в секунду тут ничего путного не даст.

В данном случае оно дает понимание о мощностях при совершении элементарных операций. Что в свою очередь дает представление о том какие ресурсы будет жрать специализированная нейронная сеть на основе электронных компонентов.

[MenFrame]

Ну напишите и обучите нейросеть считать в столбик.

Этому нейросеть в школе учат на уроках математики....

[вова111]

Этому нейросеть в школе учат на уроках математики....

Я о том, что если сеть обучать сложению например, то это будет заведомо более ресурсоёмко, чем сложение, которое выполняет процессор по команде(поскольку будет включать в себя множество таких команд, грубо говоря). Причём чем больше в сети нейронов с синапсами, тем медленнее она будет работать, так как есть пределы распараллеливанию.

[MenFrame]

Я о том, что если сеть обучать сложению например, то это будет заведомо более ресурсоёмко, чем сложение, которое выполняет процессор по команде.

Поэтому аргумент типа....

Осталось только узнать, сколько флопс нужно, чтобы выполнить программу, симулирующую один синапс    И вопросы сразу отпадут.

Не рабочий аргумент. Количество элементарных операций которые делает человеческий мозг и современные процессоры вполне сопоставимы. Не смотря на то что занимаются разными задачами.

[вова111]

В данном случае оно дает понимание о мощностях при совершении элементарных операций.

Так элементарные операции (выполненные мозгом), которые имитируются в цифровой нейронной сети - каждая из них включает в себя множество операций в секунду ( цифру не могу сказать).

 То есть когда синапс пропускает сигнал, то это не одна операция в секунду на компьютере. Это гораздо больше, зависит от разных факторов.

[вова111]

Поэтому аргумент типа....

В смысле поэтому? Я о цифровой сети а не о живой писал то. Странные у вас выводы, ну Бог вам судья Я тут уже насмотрелся.

[MenFrame]

То есть когда синапс пропускает сигнал, то это не одна операция в секунду на компьютере.

По сути одна аналоговая операция. Сигнал либо усиливается либо понижается в зависимости от настройки синапса. Подобным свойство обладают мемристоры.

[вова111]

По сути одна аналоговая операция. Сигнал либо усиливается либо понижается в зависимости от настройки синапса. Подобным свойство обладают мемристоры.

Да какая в [----] операция. Нейросеть это код который выполняется на процессоре. Там один синапс цифровой жрёт столько операций, что по вашим словам на пол мозжечка хватит.

[MenFrame]

Нейросеть это код который выполняется на процессоре. Там один синапс цифровой жрёт столько операций

Нет, современные синапсы обрабатываются перемножением 16 битных матриц(больше не надо) это меньше одного флопа. Но впринципе могут заменены всего одним элементом...МЕМРИСТОРОМ

[вова111]

Нет, современные синапсы обрабатываются перемножением 16 битных матриц(больше не надо) это меньше одного флопа.

Да и хрен с ними.

[Combinator]

http://www.nanonewsnet.ru/articles/2017/pokhozhe-s-pomoshchyu-neironnykh-setei-poyavilsya-shans-slabyi-ii-sdelat-silnym

[Vitaliy]

ThisPersonDoesNotExist — сайт-генератор реалистичных лиц https://vc.ru/dev/58543-thispersondoesnotexist-sayt-generator-realistichnyh-lic

[Olweg]

Как всегда, очень толковый обзор по теме от Сергея Маркова:

http://www.youtube.com/watch?v=l6djLCYnOKw

[Combinator]

Как всегда, очень толковый обзор по теме от Сергея Маркова:

http://www.youtube.com/watch?v=l6djLCYnOKw

Спасибо, действительно хорошая лекция!

[LV46]

Примерно с 13:50 он говорит, что чтобы создать транзисторный эквивалент мозга понадобится квинтиллион транзисторов. И сразу же говорит, что, мол, ни в одном процессоре столько нет.
В одном нет, а мультипроцессорные суперкомпьтеры уже подбираются к этой цифре.
Читаем прямо из википедии про самый мощный на текущий момент суперкомпьютер:

4608 серверов (узлов) IBM Power Systems AC922 суперкомпьютера Summit занимают площадь, эквивалентную площади двух теннисных кортов. В состав этих серверов входит 9216 22-ядерных процессоров IBM POWER9 и 27 648 графических процессоров NVIDIA Tesla V100

Смотрим характеристики процессора IBM POWER9 и NVIDIA Tesla V100,
Power 9:

процессоры Power 9 производятся по 14-нм техпроцессу. В них содержится 8 млрд транзисторов

https://habr.com/ru/company/ibm/blog/397519/
Tesla V100:

Этот GPU изготовляют по 12-нанометровыми технологическими нормами FinFET на мощностях Tsmc и насчитывает больше 21 млрд. транзисторов

GeForce_Tesla_V100

Далее считаем (9216 * 8 000 000 000)  + (27648 * 21 000 000 000) = 1 308 672 000 000 000 транзисторов. Или: ~1,3 квадриллиона транзисторов. Не так уже и далеко до квинтиллиона.
------------------------------------
Еще "пятОк-десяток" лет и можно начинать паять транзисторный аналог мозга 

[Combinator]

Далее считаем (9216 * 8 000 000 000)  + (27648 * 21 000 000 000) = 1 308 672 000 000 000 транзисторов. Или: ~1,3 квадриллиона транзисторов. Не так уже и далеко до квинтиллиона.
------------------------------------
Еще "пятОк-десяток" лет и можно начинать паять транзисторный аналог мозга 

Даже если закон Мура будет продолжать выполняться в ближайшие пару десятилетий (что вряд ли), то где-то 15 лет.
Но такие чисто абстрактные оценки на самом деле мало о чём говорят. Тот же Альфа без проблем побеждает лучших белковых игроков в шахматы и го, имея при этом на порядки меньшую формальную вычислительную мощность, чем мозг Хомо Сапиенс.

[незлой]

мозги у хомо процентов на 90 загружены поддержанием гомеостаза тушки.
интегралы мы берём и в го играем жалкими остаточными мощностями

[вова111]

мозги у хомо процентов на 90 загружены поддержанием гомеостаза тушки.
интегралы мы берём и в го играем жалкими остаточными мощностями

Это не так. Информацией нейроны обмениваются из разных разделов мозга. Процесс порождает мышление в совокупности. Отсюда и психосоматика вероятнее всего растёт. А по поводу быстродействия простых сеток - ну так в живом мире ровно так же. Чем проще и чем более узок функционал сетки, тем она успешнее будет выполнять определённую задачу.

[Проходящий Кот]

При моделировании ИИ на основе ЕИ есть ещё вопрос , какая часть функционала ЕИ является "лишней" и связана только с необходимостью поддержания работы нейронов ---- в ИИ она не нужна.

[Olweg]

Далее считаем (9216 * 8 000 000 000)  + (27648 * 21 000 000 000) = 1 308 672 000 000 000 транзисторов. Или: ~1,3 квадриллиона транзисторов. Не так уже и далеко до квинтиллиона.
------------------------------------
Еще "пятОк-десяток" лет и можно начинать паять транзисторный аналог мозга 

Немного дальше (с 20:00) он говорит про проблемы эмуляции нейронных сетей на стандартной фоннеймановской архитектуре - из-за необходимости постоянно обращаться к отдельным ячейкам памяти. Так что может и квинтиллиона не хватит. В этом году он ожидает эмуляции уровня мозга мыши на нейроморфных чипах (~100 млрд. синапсов). Трёх порядков всё ещё не будет хватать (ну, двух, если считать только кору).