Пределы автоматизации и внедрения роботов

[crazy_terraformer]

Аппарат же можно купить в рассрочку.

Анализирую взаимоотношения людей за всю историю, приходишь к выводу, что в конце концов при достижении нужного уровня роботизации, люди откажутся от интимных контактов между собой, заменив эти контакты роботами. А для размножения будут использовать просто банки спермы. Там будут указаны все характеристики "отцов", выбирай на вкус. Только вот проблема - получается, что заказчиком и владельцем ребёнка будет только женщина. А как же мужики? Они фактически будут лишены наследников, отцовства. Будут как коты, не знающие своих детей?

Человечество перейдёт генно-инженерно к гемафродитизьму Или мужики будут выращивать эмбрионы в матке трансгенных коров или свиней, яйцеклетки из банка яйцеклеток.

[Combinator]

Может быть, но кора мозга устроена почти одинакова независимо от зоны и уровня обработки. Вероятно, и алгоритмы обработки во всех зонах одинаковы.

Я бы всё же не сводил все функции интеллекта исключительно к коре. Например, у птиц она находится, по существу, в зачаточном состоянии, тем не менее, уровень интеллекта, например, врановых птиц, вполне сравним с таковым у низших обезьян. А у осьминогов строение нервной системы вообще имеет мало общего с позвоночными, тем не менее, в плане уровеня IQ они тоже являются вполне продвинутыми...

[Olweg]

У птиц роль коры выполняет паллиум:
https://www.sciencedirect.com/science/article/pii/S0960982205014041
https://howbirdsthink.blogspot.com/2013/





Но птичьи мозги пока плохо изучены, в отличие от млекопитающих. В любом случае, это интересный пример параллельной эволюции.

[незлой]

вес критичен, экстенсивные пути развития рубит отбор

[Olweg]

Что такое «экстенсивные пути развития»?

[незлой]

"количественное". в данном случае -- за счёт повышения объёма/массы мозга. млекам можно.

[Olweg]

А птицы пошли по пути компактизации:
https://www.nkj.ru/news/28988/

[вова111]

Я бы всё же не сводил все функции интеллекта исключительно к коре. Например, у птиц она находится, по существу, в зачаточном состоянии, тем не менее, уровень интеллекта, например, врановых птиц, вполне сравним с таковым у низших обезьян.

Превосходят по возможностям высших приматов. Очередное заявление просто от балды. Хоть бы почитать сперва удосужились.

[Combinator]

А птицы пошли по пути компактизации:
https://www.nkj.ru/news/28988/

Что бы успешно конкурировать с млеками, пришлось перейти на более продвинутый техпроцесс.

[вова111]

Да, сеть многозадачна, хотя и в рамках одной только обработки текста. Но, похоже, этого достигли за счёт огромного массива информации, на которой её обучали, и величины самой сети. Иерархичности, о которой я говорил, тут, видимо, нет.

Чтобы на винде поиграть через гугл колаб надо вместо указанного на хабре ввести сперва

!git clone https://github.com/openai/gpt-2

%cd gpt-2

!python3 download_model.py 117M

!pip3 install -r requirements.txt

Model prompt >>> если бы да кабы
======================================== SAMPLE 1 ========================================
 Great shout, hétè breint sem building. отірансьма Э пощеток ле изы обітвиеть стакли шсодвей все креги, торезы вадета, тактрес и вадета, хумодные ходитубі на рсазакинь песивлат реставлать вы кота икрую кота, кобы разаврия выдері. С костиа моздунич кот и спас здоблония в вл�б 2011 голько и кобаледил разакинь. которе радиско разация девологдена шия пакеритич сразаго after Attention, I better take Daddy to the Louob Costique Annajo esta haphazardi justanda continuadezata danno іли піррвистом Ретния что, іо ворится tupam pâtrum. Lacerante te mawonlos et sas hetira est adesaré premiève Pouoe 01 name de grâme, tu adiver ou triste por à la sous. Cosa peccadunque. Why do I love that Frabbé? I'm little, children,

[вова111]

Я немного не то имел в виду. Конечно, свёрточные нейросетки обощают, но только определённый вид опыта - если нейросеть обучить распознавать мяуканье, она не сможет его соотнести с изображением кота. Это как отдельные модули в человеческом мозгу - слуховая, зрительная кора, но пока не видно работающих систем, которые бы переводили опыт с этих модулей на более высокий уровень. Была, правда, гугловская MultiModel пару лет назад, но что-то про неё больше не слышно.

Сделать можно, но проблема в весах. Они подстраиваются под определённую задачу и если задача другая, то меняются и веса. Соответственно сеть забывает весь предыдущий опыт.

То есть как мне кажется, это форсируется симуляция активации паттерна нейронов в головном мозге. При перераспределении весов имею ввиду. Как результат задача выполняется.

А гибкость отсутствует, поскольку устройство существующих нейросетей упускает возможность быстрого возврата к тому же паттерну активации, если входные данные сходны с тем, что были на предыдущей задаче. В смысле в идеале ведь как понимаю если сеть обучали распознавать изображения кошек, а затем стали обучать распознавать мяукание, а затем вновь подали на входы изображение кошки, должна сразу вспомнить, какими были веса ПОСЛЕ обучения распознаванию изображений кошек, но ДО распознавания звуков. Причем одновременно с этим и не забыть веса при распознавании звуков и обобщить информацию из одного и другого.

В смысле количество связей при обучению новому должно вырасти, а не веса меняться.

[вова111]

То есть менять веса это эффективно для выполнения определенной задачи, но оно же и снижает гибкость.

[Olweg]

Так ведь и в человеческом мозге картинки и звуки распознаются разными зонами (затылочной и височной). А уже в теменной они ассоциируются друг с другом и с другими образами. Вот и интересно было бы создать такие ассоциативные модули из нейросетей. Но пока почему-то не удаётся. Может, просто пока не ставят таких задач (за исключением упомянутой MultiModel). Что касается активации паттернов - нейросеть ведь может распознать разные объекты, скажем, на картинке, при этом должны срабатывать разные паттерны нейронов.

[вова111]

(за исключением упомянутой MultiModel)

не смог загуглить

[Olweg]

https://habr.com/ru/post/373559/

[Olweg]

Кстати, интересная фраза оттуда:

Эксперименты показали, что такой подход даёт огромное преимущество по улучшению качества работы на задачах с небольшим количеством данных.

[Olweg]

Что касается активации паттернов - нейросеть ведь может распознать разные объекты, скажем, на картинке, при этом должны срабатывать разные паттерны нейронов.

Насколько я понял, количество объектов (классов), распознаваемых свёрточной нейросеткой, зависит от количества нейронов в выходном слое:



Это очень похоже на т.н. «нейроны бабушки» в мозгу человека.

http://blog.melscience.com/ru/2014-12-24-did-you-know-that-our-brains-have-special-neurons-responding-to-images-of-jennifer-aniston.html

https://www.nkj.ru/news/26636/

[вова111]

Насколько я понял, количество объектов (классов), распознаваемых свёрточной нейросеткой, зависит от количества нейронов в выходном слое:

Примерно так. Поэтому свёрточные сети как понимаю, делаются многослойными. То есть первые слои линии видят, чем дальше, тем более сложные признаки выделяются.

То есть это алгоритм, который меняет веса(множители) так, пока результат(любое изображение можно разбить на r g b составляющие, которые будут выражены численно) с одного изображения содержащего подобный контент не станет похож на результат с другого изображения, содержащего подобный контент.

Но поскольку два изображения слишком мало, чтобы получать с высокой точностью совпадения, требуется большая база изображений. Когда по результатам с большой базы изображений результаты становятся подобными - обучение закончено.

Причём при инициализации сети веса расставляются рандомно и какие признаки будут выделяться в первую очередь заведомо неизвестно, как понимаю. А затем уже веса начинают корректироваться методом обратного распространения ошибки - то есть множители меняются так, чтобы скажем выборка изображений, где есть лицо человека - выдавали сходный результат.

То есть смотрите. Допустим у меня есть изображение 32 на 32 пикселя и другое изображение 32 на 32 пикселя. Если я просто просуммирую все r g b с обоих изображений и расставлю множители так, чтобы в результате выходил подобный результат, то если я возьму третье изображение и пропущу через эти веса - то результат уже не будет удовлетворять ожиданиям. Поэтому нужно больше слоёв и больше изображений.

[вова111]

Но поскольку два изображения слишком мало, чтобы получать с высокой точностью совпадения, требуется большая база изображений. Когда по результатам с большой базы изображений результаты становятся подобными - обучение закончено.

Но кстати есть вариант, когда база изображений небольшая, всё же улучшать показатели - для этого необходимо на той небольшой базе изображений, что имеется - немного изменять подаваемое на входы, то есть деформировать изображения.

В принципе в реальных условиях(у живых организмов) то так и происходит - то есть статичная картинка не подаётся на входы.

[Olweg]

То есть смотрите. Допустим у меня есть изображение 32 на 32 пикселя и другое изображение 32 на 32 пикселя. Если я просто просуммирую все r g b с обоих изображений и расставлю множители так, чтобы в результате выходил подобный результат, то если я возьму третье изображение и пропущу через эти веса - то результат уже не будет удовлетворять ожиданиям. Поэтому нужно больше слоёв и больше изображений.

Это понятно. Для этого свёртка и применяется. Чтобы получить инвариантное представление (пользуясь термином Джеффа Хокинса из его «Об интеллекте»).