Пределы автоматизации и внедрения роботов

[BlackMokona]

А в зависимости от железа на котором выполняется симуляция и сложности модели нейрона- число операций в секунду для симуляции участка мозга может меняться?

Ещё и от ПО и ряда других факторов.

[вова111]

Ещё и от ПО и ряда других факторов.

Выходит оценка - не имеет отношения к действительности?

[BlackMokona]

Выходит оценка - не имеет отношения к действительности?

Имеет , как потолок вычислительных ресурсов. Меньше может быть, больше крайне маловероятно

[вова111]

Имеет , как потолок вычислительных ресурсов. Меньше может быть, больше крайне маловероятно

Как определили, что потолок? То есть вы точно знаете как считали? Я просто спрашивал и вы сказали, что предполагаете. А предположение это не точная информация.

[BlackMokona]

Как определили, что потолок? То есть вы точно знаете как считали?

Если моё понимание верно, то улучшить ПО, железо и прочее можно. Ухудшить уже нет. Оно постоянно прогрессирует.
Я не настолько глубоко разбераюсь в этом как Курцвеил. Тут доверие к авторитету человека радующего мир прорывом за прорывом в разработке ИИ.

[вова111]

Если моё понимание верно, то улучшить ПО, железо и прочее можно. Ухудшить уже нет. Оно постоянно прогрессирует.
Я не настолько глубоко разбераюсь в этом как Курцвеил. Тут доверие к авторитету человека радующего мир прорывом за прорывом в разработке ИИ.

В смысле он лично разрабатывает? Ну это из разряда - Трамп построил миллион домов. Вот сам ходил прямо и строил, ночи напролёт не стал.

Я не настолько глубоко разбераюсь в этом как Курцвеил. Тут доверие к авторитету человека радующего мир прорывом за прорывом в разработке ИИ.

Я в перспективах загробного существования тоже не особо разбираюсь. По вашему, какая версия будет наиболее авторитетная?

[BlackMokona]

В смысле он лично разрабатывает? Ну это из разряда - Трамп построил миллион домов. Вот сам ходил прямо и строил, ночи напролёт не стал.

Он лично занимается разработкой, он тех.директор , а не финансовый. Он пришёл в Гугл уже сделав большое состоянии на продаже разработаного им ПО в сфере ИИ

[вова111]

Он лично занимается разработкой, он тех.директор , а не финансовый. Он пришёл в Гугл уже сделав большое состоянии на продаже разработаного им ПО в сфере ИИ

В смысле в 1974 году он разрабатывал ПО в сфере ИИ и сделал некоторое состояние? Просто потом - он только книжки писал, если не ошибаюсь.

[BlackMokona]

В смысле в 1974 году он разрабатывал ПО в сфере ИИ и сделал некоторое состояние? Просто потом - он только книжки писал.

ПО в сфере ИИ разрабатывают и применяют с самой зари появления компьютеров.
Нейронные сети стартовали лишь немногим пойже.

В 1958 Ф. Розенблатт изобретает однослойный перцептрон и демонстрирует его способность решать задачи классификации[4]. Перцептрон обрёл популярность — его используют для распознавания образов, прогнозирования погоды и т. д

[вова111]

В смысле в 1974 году он разрабатывал ПО в сфере ИИ и сделал некоторое состояние? Просто потом - он только книжки писал.

ПО в сфере ИИ разрабатывают и применяют с самой зари появления компьютеров.
Нейронные сети стартовали лишь немногим пойже.

В 1958 Ф. Розенблатт изобретает однослойный перцептрон и демонстрирует его способность решать задачи классификации[4]. Перцептрон обрёл популярность — его используют для распознавания образов, прогнозирования погоды и т. д

Ну это ещё ладно. А вот "закон ускоряющейся отдачи" показывает Курцвейла как человека, который вообще игнорирует действие энтропии в своих размышлениях. Так далеко можно зайти. Впрочем, дело - ваше ).

[вова111]

Если моё понимание верно, то улучшить ПО, железо и прочее можно. Ухудшить уже нет. Оно постоянно прогрессирует.

Смотря что понять под улучшением. Реальность так устроена, что наращивание чего либо, даже если в начале это даёт выраженный положительный эффект - на определённых значениях начинает давать эффект отрицательный.

Волшебное слово отвечающее на вопрос - "почему так?" - "энтропия".

Закон Амдала например

[BlackMokona]

Ну это ещё ладно. А вот "закон ускоряющейся отдачи" показывает Курцвейла как человека, который вообще игнорирует действие энтропии в своих размышлениях. Так далеко можно зайти. Впрочем, дело - ваше ).

Ему в Гугле с неограниченным финансированием хорошо живётся. Они там ускоряются по полной.

Смотря что понять под улучшением. Реальность так устроена, что наращивание чего либо, даже если в начале это даёт выраженный положительный эффект - на определённых значениях начинает давать эффект отрицательный.

Волшебное слово отвечающее на вопрос - "почему так?" - "энтропия".

Ребята из ОпенАИ(Созданная Маском контора) опубликовала данные, что чем более крутой ИИ тем легче он параллелится. Тем самым максимальный эффективный объём железа который можно задействовать резко растёт. Тем самым при переходе от текущих размеров, к размеру мозга, обучение не только не замедлится, а даже ускорится.

Последствия

Степень параллелизации данных серьёзно влияет на скорость развития возможностей ИИ. Ускорение обучения делает возможным создание более способных моделей и ускоряет исследования, позволяя укорачивать время каждой итерации.

В более раннем исследовании, "ИИ и расчёты", мы видели, что расчёты для обучения крупнейших моделей удваиваются каждые 3,5 месяце, и отметили, что эта тенденция основывается на комбинации экономики (желания тратить деньги на расчёты) и алгоритмических возможностях по параллелизации обучения. Последний фактор (алгоритмическая параллелизуемость) предсказать сложнее, а его ограничения ещё не изучены до конца, но наши текущие результаты представляют шаг вперёд в деле его систематизации и численного выражения. В частности, у нас есть свидетельства того, что более сложные задачи, или более мощные модели, направленные на известную задачу, позволят сильнее распараллеливать работу с данными. Это будет ключевым фактором, поддерживающим экспоненциальный рост вычислений, связанных с обучением. И мы даже не рассматриваем недавние разработки в области параллельных моделей, которые могут позволить ещё больше усилить параллелизацию, добавив её к существующей параллельной обработке данных.

Продолжение роста области обучающих вычислений и её предсказуемая алгоритмическая база говорят о возможности взрывного увеличения возможностей ИИ в следующие несколько лет, и подчёркивают необходимость скорейшего исследования безопасного и ответственного использования подобных систем. Главной трудностью создания политики использования ИИ будет решить, как можно использовать подобные меры дл того, чтобы предсказывать характеристики будущих ИИ-систем, и использовать это знание для создания правил, позволяющих обществу максимизировать полезные свойства и минимизировать вред этих технологий.

Организация OpenAI планирует проводить строгий анализ, позволяющий предсказывать будущее ИИ, и упреждающе работать с проблемами, поднимаемыми этим анализом.

[вова111]

Ему в Гугле с неограниченным финансированием хорошо живётся.

Да это то понятно.

Ребята из ОпенАИ(Созданная Маском контора) опубликовала данные, что чем более крутой ИИ тем легче он параллелится.

А где данные?

[BlackMokona]

А где данные?

Я привёл график выше.

[вова111]

Я привёл график выше.

В смысле из этого графика можно понять, что "чем более крутой ИИ тем легче он параллелится"? Я не смог, можете объяснить?

[BlackMokona]

В смысле из этого графика можно понять, что "чем более крутой ИИ тем легче он параллелится"? Я не смог, можете объяснить?

Ось Y это наша сложность выраженная в градиенте шума который растёт при росте сложности ИИ что видно по программам в графике, а ось X это сколько мы ему за раз скормить наших данных можем. А это уже наша моща.

[вова111]

Ось Y это наша сложность выраженная в градиенте шума который растёт при росте сложности ИИ что видно по программам в графике,

С чего взяли что количество шума зависит от сложности? То что проще паралелить вычисления где небольшие пакеты данных это мне и без их исследования понятно.

[BlackMokona]

С чего взяли что количество шума зависит от сложности?

С того, что на практически чем круче у нас ИИ тем больше градиент шума. Эмпирическое наблюдение
По идее это связано с ростом внутренней сложности и появлению из за этого шума

[вова111]

С того, что на практически чем круче у нас ИИ тем больше градиент шума.

Как понять "круче"?

[BlackMokona]

Как понять "круче"?

Делает более сложные вещи, имеет больше нейронов, более сложную структуру и тд.
Например на графике есть Dota 1v1 и Dota 5v5 ИИ разработанные ОпенАи. Если первый это единая нейронная сеть умеющая играть одним героем,на одной линии, с кучей ограничений. То второй это совокупная работа множества сложно взаимодействующих нейросетей способных к сражению и совместному взаимодействию на десятках героев по всей карте с радикально меньшими ограничениями на игровой процесс. Резкий рост сложности, числа нейронов и тд. При этом резко подпрыгивает шум и возможное количество данных за раз которое оно может сьест, улетая далеко направо за график. Что указано стрелочкой. Т.е OpenAi просто столько ресурсов не имеет дабы проверить когда он насытится.