Голощапов "НТП человечества, теоретич. ограничения и пути дальнейшего развития"

[ВадимZero]

Цистерну с жидким гелием в какой карман положить

Для адиабатической логики не имет значение, температура работы ее элементов. Это просто энергоэффективная архитектура вентелей.

Мозг - фантастически энергоэффективное и производительное для своего класса задач "устройство"

С точки зрения архитектуры и заточености под определенный класс задач может быть. С точки зрения работы еденичного элемента там все плохо.

А когда единственного экситона достаточно чтобы перебросить триггер между состояниями... это будет не процессор, а генератор случайных чисел

Ну пока нет иследований показывающих что для одноэлектроники эта проблема критична. Ну и не забываем про алгоритмы коррекции ошибок.

[AlexAV]

Для адиабатической логики не имет значение, температура работы ее элементов. Это просто энергоэффективная архитектура вентелей.

Нет. Для обычных полупроводниковых элементов польза от неё околонулевая. Все эти концепции предназначены для элементной базы без диссипации энергии, т.е. исключительно сверхпроводящих, на обычных КМОП не получится (при передачи с ёмкости на ёмкость заряда по обычной линии с сопротивлением 3/4 энергии всё равно уйдёт в тепло, а воевать за оставшиеся крохи ценой чрезвычайного усложнения схемы бесмысленно, сверхпроводящие элементы - вопрос совсем другой).

Ну пока нет иследований показывающих что для одноэлектроники эта проблема критична. Ну и не забываем про алгоритмы коррекции ошибок. Для некоторых алгоритмов наличие ошибок не критично.

Конечно нет за отсутствие объекта исследования. Пока всё сводится лишь к отдельным транзисторам, СБИС на этой базе попросту не существует. Но то что проблема катастрофически увеличивается с уменьшением ёмкости затвора известно по обычным КМОП. Странно если здесь будет по другому.

[AlexAV]

точки зрения работы еденичного элемента там все плохо.

Для корректной эмуляции одного нейрона (если рассматривать его как аналоговый элемент со всем комплексом транспорта потенциалов и взаимодействий с нейромедиаторами) потребуется не очень слабый микропроцессор.

Описание каждого аналогового элемента требует решения системы дифференциальных уравнений. В вычислительном плане это весьма сложная задача. 

[zyxman]

Согласитесь ведь, что эти современные гаджеты в кармане в вычислительном смысле не годны вообще ни на что, кроме как запустить почтовый клиент, скачать интернет-страничку да декодировать небольшую киношку.

Не соглашусь. Гаджеты делались с двумя главными соображениями - во первых у них был определенный круг задач, во вторых требование низкой квалификации разработчиков, и всё это еще и должно было быть подешевле.
- Коллега ради спортивного интереса проверил и выяснил, что задачи которые 20 лет назад порядка суток считались на самом быстром из доступных тогда ему десктопе (386 4mb ОЗУ), сейчас за часы считаются на этих самых гаджетах, то есть при всей убогости гаджетов задачи они считают вполне нормально.
Кстати, это-же ответ на вопрос Семенова, что каналы передачи данных загружены на 5% - запас мощности и емкости держится в том числе, чтобы понизить потребный уровень квалификации разработчиков, ибо разработчики способные работать без запаса очень дорого стоят.

К слову, сам сейчас думаю купить себе нетбук с GPU, не для работы и не столько для кино (я его и так на планшете могу посмотреть) а напоиграться с многопотоковым вычислителем.

Так что слова свои назад не возьму, единственное что я УТОЧНЮ, и будет в таком виде "через 20 лет эквивалент Ватсона будет в кармане у каждого ЖЕЛАЮЩЕГО", точно как сейчас - у кого-то в кармане 4-ядерный числогрыз за $500, а кто-то покупает самую простую мобилку за $25 а $475 пропивает, или просто работает на более легкой и потому хуже оплачиваемой работе.

[ВадимZero]

Нет. Для обычных полупроводниковых элементов польза от неё околонулевая. Все эти концепции предназначены для элементной базы без диссипации энергии, т.е. исключительно сверхпроводящих, на обычных КМОП не получится.

Конечно же нет, потери энергии именно на сопротивление в проводниках минимальны. Основная энергия тратится на переключение транзистора(то есть стирание бита информации). Для современных КМОП конечно нет смысла использовать адиабатическую логику, просто в силу больших токов утечки, которые сводят на нет весь плюс от обратимых вычислений. Но вот у одноэлектроники похоже токи утечки должны быть минимальны, потому в комплексе с адиабатической логикой должен быть хороший выигрышь.

Для корректной эмуляции одного нейрона

Пока мы не знаем что из себя представляет эта коректность подобные разговоры не имеют смысла.
Если бы кто нибуть пытался эмулировать отдельный транзистор на уровне отдельных атомов, не понимая логики его работы и назначения...понадобился бы компьютер размером со вселенную. Потому все эти разговоры про эмуляцию не дают не какого представления, кроме того что мы не понимаем то что моделируем. А потому не можем судить что важно, а что избыточно.

Конечно нет за отсутствие объекта исследования. Пока всё сводится лишь к отдельным транзисторам, СБИС на этой базе попросту не существует. Но то что проблема катастрофически увеличивается с уменьшением ёмкости затвора известно по обычным КМОП. Странно если здесь будет по другому.

А что собственно мешает проверить имеет ли проблема актуальность на уровне отдельных транзисторов? Кроме того одноэлетронные транзисторы быстрей работают(особенно если они на графене) что должно компенсировать увеличение чуствительности к радиации.

[zyxman]

Для корректной эмуляции одного нейрона (если рассматривать его как аналоговый элемент со всем комплексом транспорта потенциалов и взаимодействий с нейромедиаторами) потребуется не очень слабый микропроцессор.

Описание каждого аналогового элемента требует решения системы дифференциальных уравнений. В вычислительном плане это весьма сложная задача. 

Неправильная постановка задачи (выделил цветом) - пока еще не доказано, что нейрон обязательно должен быть аналоговым во первых, и тем более, не доказано, что нужна действительно большая точность эмуляции.

- Есть вероятность и того что достаточна точность порядка 10^-2 (что легко достигается аналоговым вычислителем), и даже того, что нейроны можно эмулировать не более чем 2-битовой точностью.
Кстати, хотелось-бы услышать от биологов аргументированную точку зрения, насколько велик разброс параметров аналогового вычислителя входящего в живую клетку?

- И собственно для ответа на эти вопросы сейчас и делаются уже всё большим числом организаций эмуляторы больших нейросетей, и соответственно через 10 лет уже вероятны точные ответы, насколько сложным должен быть эмулятор для ДОСТАТОЧНОЙ точности эмуляции.

Перечислять мне лень, только скажу что уже есть в свободной продаже железки для эмуляции нейросетей с миллиардом нейронов в домашних условиях (пассивное охлаждение, потребление порядка 1КВт). База - обычные ширпотребные многоядерные ARM.

[-Asket-]

каналы передачи данных загружены на 5%

Какие каналы? Откуда вообще взялась эта цифра?
http://www.computerra.ru/99419/neutral-part-ii/

Если мы научимся выращивать мозги в промышленных объемах, то полного понимания как там все внутри работает и не потребуется. Главное - обеспечить нормальный нейроинтерфейс. Вот такую штуку каждому на стол:

[zyxman]

Кстати, Ватсон не эмулирует нейросети, а проверяет многими потоками логические гипотезы.
- С точки зрения точности эмуляции нейрона модель более чем грубая, и с точки зрения мегагерцев уступает мозгу ИМХО на более чем ДВА ПОРЯДКА, но тем не менее в американском "поле чудес" естественный интеллект обыграла.
Из чего я делаю вывод о большой сомнительности в том что путь природы единственно возможный.

Да, эксперты говорят, что эквивалент железа на котором работал Ватсон когда играл в "поле чудес", на тот момент на ширпотребном железе стоил единицы миллионов долларов (приблизительно тысяча жестких дисков, несколько сотен бездисковых десктопов и соответствующее количество свитчей).

[zyxman]

Какие каналы? Откуда вообще взялась эта цифра?
http://www.computerra.ru/99419/neutral-part-ii/

Цифра взята из Семенова. Допускаю, что это средняя загрузка какой-то локальной группой пользователей за большой период, что вполне правдоподобно, так как активность пользователей естественно имеет пики и периоды нулевого потребления (понятно что когда спим, то есть ночью практически не потребляем, а скажем в выходные днем и вечерами потребление может быть очень большим - я лично например часто на выходных качаю с сети кино, а в рабочие дни занят другими делами).
Магистральные каналы могут быть загружены круглосуточно, но там специфика что на магистральном канале сидят много групп пользователей и их пики размазываются - в рабочее время потребляют юрлица, вечерами потребляют физлица, плюс в разных часовых поясах пики естественно в разное время.

Если мы научимся выращивать мозги в промышленных объемах, то полного понимания как там все внутри работает и не потребуется. Главное - обеспечить нормальный нейроинтерфейс.

ИМХО, вы с высокой вероятностью правы.
Но я считаю что нужно работать по многим направлениям, потому что всё-же есть вероятность что какой-то из частных вариантов окажется невозможен к реализации, либо будет иметь очень большие ограничения, не позволяющие какие-то важные приложения - например, органический компьютер вероятно не сможет работать в системе Юпитера из-за очень высокой радиации, ну или таки действительно окажется что нейроны эмулировать потребует слишком много энергии для космических зондов.

Кстати, ответ на вопрос о оптимальной сложности цифрового (или полуцифрового) вычислителя, заодно ответит нам на вопросы из других веток, как вопрос о ТТХ носителя зонда Фон-Неймана, и соответственно, будем знать, есть ли смысл искать у нас зонд инопланетян.

[AlexAV]

Конечно же нет, потери энергии именно на сопротивление в проводниках минимальны.

В среднем при современной схемотехники. А вот если попытаеиесть перебрасывать энергию с затвора на затвор сразу окажется, что R/L соединения слишком велико и вся энергия уходит в омический нагрев.

А что собственно мешает проверить имеет ли проблема актуальность на уровне отдельных транзисторов?

Накопление статистики ошибочных срабатываний. Частица ионизирующего излучения должна пройти на расстоянии не более нескольких мкм, чтобы возбуждаемые её высоковозбуждённые экситоны могли дойти до транзистора. При потоке 1-2 частицы/см2 и одном транзисторе ждать можно очень долго. А вот когда у вас СБИС на этих нескольких мкм уже будут десятки-сотни тысяч транзисторов, которые будут давать сбой одновременно целыми блоками. Ну и площадь микросхемы такова, что такие события могут происходить по несколько раз в секунду. 

[ВадимZero]

А вот если попытаеиесть перебрасывать энергию с затвора на затвор сразу окажется, что R/L соединения слишком велико и вся энергия уходит в омический нагрев.

В каком месте там нагрев больше чем обычного? Большинство работ по адиабатической логике и слыхом не слыхивали про подобные потери энергии и делались в рамках современных КМОП. И вообще первый раз слышу о подобных ограничениях по омическому нагреву, они отражены в каких нибудь работах?

При потоке 1-2 частицы/см2 и одном транзисторе ждать можно очень долго.

Ну так в чем проблема тогда

Ну и площадь микросхемы такова, что такие события могут происходить по несколько раз в секунду. 

На один сбой будет миллион корректно выполненных команд. Если уж для квантовых компьютеров с их гиперчуствительностью придумывают алгоритмы корекции ошибок то тут уж вообще проблемы не вижу.

[zyxman]

А вот когда у вас СБИС на этих нескольких мкм уже будут десятки-сотни тысяч транзисторов, которые будут давать сбой одновременно целыми блоками. Ну и площадь микросхемы такова, что такие события могут происходить по несколько раз в секунду. 

Коллега рассказывал, что где-то еще в 1970-х как раз исследовательское подразделение Интел провело исследования влияния радиационных эффектов на DRAM, и выяснили примерно следующее: что во первых на том уровне интеграции эфекты редки, и их можно было свести к минимуму подбором материала корпуса (чтобы не давал вторичных частиц), ну а на дальнейшее развитие просто сделали коррекцию ошибок, которая собственно сейчас есть практически во всех серверах.
Для процессоров проблема появилась только когда микропроцессоры стали летать в космос на Геостационар и далее Венеры, особенно к системе Юпитера - там уже пришлось сделать коррекцию ошибок прямо на вычислительных блоках (кстати на Вояджере коррекция ошибок есть на памяти, а процессор там не интегральный).
Аминь.

[Инопланетянин]

Попробуйте на основе нейронов эмулировать 25 ватный вычислительный процессор работающий с математическими операциями. Понадобятся все мозги в мире. И вся еда в мире....

У процессоров только одно реальное преимущество перед нейронами - высокая тактовая частота. Но достигается она ценой огромных и неэффективных энергетических затрат. Всё остальное у процессора хуже. И высокая стоимость производства, и низкая сложность, и двумерность архитектуры и низкая распараллеливаемость (хотя, вроде, решается, но проблема отвода тепла может помешать созданию объёмных микропроцессоров).

Ну, ещё то, что они не живые и их можно выключить, а потом включить. Это полезно для космических аппаратов - не надо заморачиваться с системами жизнеобеспечения.

А что касается эмуляции вычислений, то девять женщин не родят одного ребёнка за один месяц. Считать задачи, в которых для следующего шага надо иметь результаты предыдущего (плохо распараллеливаемые) на мозгах действительно быстро не получится независимо от их количества. Но, ведь, и решать хорошо распараллеливаемые задачи на процессоре гораздо хуже, чем на мозгах. Капча подтверждает, как говорится. Знаете, что такое капча и зачем она применяется?

[AlexAV]

Основная энергия тратится на переключение транзистора(то есть стирание бита информации).

Не совсем. Точнее верно, что на переключение, но затраты энергии на переключение при питание постоянным напряжением состоят из двух равных частей - собственно энергия ёмкости затвора и омические потери при зарядке ёмкости затвора. Половина энергии переключения в большей части современных схемотехнических решений и есть омические потери, которые, конечно, вернуть невозможно.

Большинство работ по адиабатической логике и слыхом не слыхивали про подобные потери энергии и делались в рамках современных КМОП.

Адиабатическая логика - абстрактная математическая концепция, в теории позволяющая осуществлять расчёты без затрат энергии, но её физическая реализация возможна только на бездиссипативных элементах. То что пытаются реализовать на КМОП называется квазиадиабатической. Под этим термином подразумевается ряд схемотехнических решений, который позволяют снизить затраты энергии на переключение логического элемента. Скажем вентили со ступенчатой перезарядкой выходной ёмкости или коллапсирующим импульсом. Это действительно позволяет до некоторой степени снизить затраты энергии устройством, но весьма ограниченно (может быть в несколько раз). Но "ценой" этого выигрыша является  сильное падение быстродействие элемента (тоже в разы) и крайнее усложнение так самой схемы, так и схемы питания. Причём ряд решений требует использование индуктивности с высокой добротностью, что делает фактически невозможным их реализации на кристалле (вообще индуктивность один из самых проблемных элементов ИС). Эти сложнности  реализации ведут к тому, что на практике их применяют редко.

корекции ошибок то тут уж вообще проблемы не вижу.

Ага, из-за "не проблемы" (скорее всего) Фобос-Грунт оказался вместо Марса в Тихом океане. Или скажем в космической технике до сих пор довольно широко используются схемы по техпроцессу 130 и 180 нм. Уменьшение технорм и ёмкостей затвора быстро уменьшается и критический заряд сбоя. Поскольку проходящая частица оставляет целое облако неосновных носителей заряда и экситонов до нескольких мкм в радиусе, то одна частица может поражать не один элемент, а их большую группу (а генерируемые в цепях импульсы тока при  их рекомбинации ещё больше увеличивают область поражения), особенно при высокой степени интеграции схемы и малых значениях критического заряда сбоя. При современных технормах это существенная проблема только в космосе (отчасти поэтому здесь в электронике используются схемы по более грубым технормам, чем на земле). При дальнейшем уменьшение - начнёт хватать и естественного фона Земли. Алгоритмы коррекции конечно помогают, но полностью решить эту проблему неспособны.

[AlexAV]

Коллега рассказывал, что где-то еще в 1970-х как раз исследовательское подразделение Интел провело исследования влияния радиационных эффектов на DRAM, и выяснили примерно следующее: что во первых на том уровне интеграции эфекты редки, и их можно было свести к минимуму подбором материала корпуса (чтобы не давал вторичных частиц), ну а на дальнейшее развитие просто сделали коррекцию ошибок, которая собственно сейчас есть практически во всех серверах.

При той степени интеграции (которая была в 70-х) - безусловно.

[AlexAV]

что нейрон обязательно должен быть аналоговым во первых

Но никто и не доказал обратного. Фактически же прохождение импульса через нейрон в биологической системе очень сложный процесс, причём достоверно малые отклонения в нем (скажем влияние психотропов на активность рецептов нейромедиаторов)  сильно сказываются на работу мозга как целого.

И собственно для ответа на эти вопросы сейчас и делаются уже всё большим числом организаций эмуляторы больших нейросетей

Здесь есть такой момент, что общего между биологической нейросетью и математической - только название. Математический нейрон в большинстве вариантов и близко не соответствует биологическому по характеру отклика на входной сигнал. Минимально адекватная математическая модель биологического нейрона - это модель Ходжкина — Хаксли и она описывается не функцией от скалярного произведения входного вектора на вектор весов (как в большинстве используемых математических нейронов), а системой дифференциальных уравнений.

только скажу что уже есть в свободной продаже железки для эмуляции нейросетей с миллиардом нейронов в домашних условиях

Здесь центральный вопрос это каких нейронов? Линейных, пороговых или радиально-базисных - никаких проблем. Только какое это имеет отношение к биологической нервной системе? А вот нейронов Ходжкина — Хаксли уже что-то не уверен (эту модель вообще использую редко в силу того, что она очень "тяжёлая"). Решать систему в несколько миллионов дифференциальных уравнений задача, мягко говоря, затратная. Но даже нейрон Ходжкина — Хаксли это не биологический, а лишь его очень упрощённая модель. 

[zyxman]

Ага, из-за "не проблемы" (скорее всего) Фобос-Грунт оказался вместо Марса в Тихом океане.

Вы как модератор позволите высказать обоснованную точку зрения на тот факт? - Ибо там уж очень политично всё, а совсем не в сбое дело.

[zyxman]

При той степени интеграции (которая была в 70-х) - безусловно

Что за манера вырывать слова из контекста?
- Контекст таков, что коррекцию ошибок, а также дублирование и прочие методы борьбы с ошибками прошли еще в 1970-х, и вобщем пределов коррекции нет, точнее единственный предел, что если слишком "жидкая" будет вычислительная система, то прийдется закладывать очень много резервных цепей, которые будут постепенно заменять вышедшие из строя.

[zyxman]

Математический нейрон в большинстве вариантов и близко не соответствует биологическому по характеру отклика на входной сигнал.

Поясните пожалуйста, какая польза обсуждению от этого вашего утверждения?

Решать систему в несколько миллионов дифференциальных уравнений задача, мягко говоря, затратная.

И что это доказывает? - Что уважаемый AlexAV не верит что задачу возможно решить современными средствами? - А про реальность это ничего не говорит, абсолютно.

[AlexAV]

Поясните пожалуйста, какая польза обсуждению от этого вашего утверждения?

Очень просто. Надо чётко осознавать, что математическая нейронная сеть (в большинстве вариантов) не является моделью биологической. Соответственно не стоит ожидать, что при любом размере она начнёт сколько-нибудь адекватно описывать функционирование нервной системы живого организма.