Пределы автоматизации и внедрения роботов

[Olweg]

Почти. У меня в голове тоже сидит сеть, обученная на сотнях (конечно, не миллиардах  ) книг и тысячах страниц интернета. На и плюс ещё разговорная речь. В отношении грамотности точно работает такая предобученная "чуйка" - иногда проще написать слово и посмотреть, "правильно" ли оно выглядит. Правил со школы помню дай бог с десяток, остальное на автомате.

[BlackMokona]

Пока писал, задумался, а как именно я сам составляю собственный текст. Я проверяю разные варианты фраз на уместность с точки зрения грамматики, стиля, контекста. Напишу - подправлю. То есть делаю то же самое, что делает и GPT. Но я при этом ещё хочу донести какие-то свои мысли, идеи, а у сети их нет. Есть чувство текста, но нет понимания окружающей реальности.

Как сказано "Она красиво выдаёт всякую фигню, но даже с 175 миллиардами параметров и 450 гигабайтами входных данных её нельзя назвать надёжным интерпретатором мира"

450 Гб это около миллиарда книг. Вы все еще думаете, что делаете тоже самое при написании текста? 

Как будто люди надежные. Вы что ни разу не ошибались в распозновании людей, не писали с ошибками, не говорили с ошибками, не совершали ошибок в своей жизни и тд?

[Iskander]

Специально для энтузиастов автоматизации и внедрения роботов - новая презентация от авторов русской кибердеревни: "Russian Tomorrow News"

https://www.youtube.com/watch?v=4gyKDCOwdC0

[Вайт]

Почти. У меня в голове тоже сидит сеть, обученная на сотнях (конечно, не миллиардах  ) книг и тысячах страниц интернета. На и плюс ещё разговорная речь.

Тогда понятно, почему вам глуповатый комментарий интересным показался. У всех-то не так, как вы пишете, — у всех людей нейронная сеть, «которая сидит у них в голове», не только на сотнях книг и интернете обучается.

Нейронная сеть мозга на входе имеет рецепторы внутренней и внешней среды, а на выходе мышцы и железы. Таким образом, нейронная сеть мозга организует работу мышц и посредством желёз координирует с работой мышц работу остального организма. При этом нейронная сеть мозга — это единая структура связанных между собой нейронов, где торможение одних нейронов зависит от возбуждения других и наоборот.

Из-за чего в каждой активности мышц — опыт сразу всего мозга, вызванный нынешней совокупностью сигналов сразу всех рецепторов. Речь — это тоже активность мышц, поэтому в каждой фразе у всех людей тоже заключается опыт всего их мозга, вызванный нынешней совокупностью сигналов сразу всех рецепторов. Другими словами:

Таким образом, искусственные нейронные сети способны различать контекст ситуации, её смысл, перспективу, и потому выделять только важные в этом контексте элементы. В результате нейронной сети не составляет принципиального труда узнать знакомое в шуме, выявить общности и отличия, построить прогноз.

Или «понять» значение слов в вопросе и подобрать ответ. Конечно, при этом нейронная сеть лишь распознаёт закономерности расстановки слов, исходя из множества фраз обучающей выборки, а не «понимает» смысл заданного вопроса, как на это способен человек с его качественно более богатым опытом и качественно более сложным мышлением. Как следствие, способность искусственных нейронных сетей к переводу, общению или написанию текстов, основанная только на закономерностях построения слов и фраз, выявленных в обучающих примерах, всегда будет ограничена, по сравнению с теми же способностями человека.

Опыт в нейронной сети вызывается по содержанию, а не по адресу. Нужно понимать, что это значит, иначе представление о работе мозга будет в корне неверным.

И то, что я вижу, уже круто. Но ждут от этой сети почему-то совсем дргого.
Это как та робо-гончая от бостон-динамикс, она очень круто научилась бегать галопом, устойчиво входит в повороты, справляется с неровностями, но это все рефлекторное поведение. Странно, если бы от этой собаки на данном этапе требовали поймать зайца или сообразить что нужно уворачиваться от пуль.

Представленная сеть — это не «как робо-гончая от бостон-динамикс», а как сумасшедшая робо-гончая от бостон-динамикс. Про которую никогда непонятно, куда она побежит. В результате похвастаться достижениями подойдёт, а на практике использовать невозможно и людям давать нельзя. С говорящей сетью попроще, так как можно рядом с ней редактора посадить, он её проверять будет, а она его от рутины освобождать — простые тексты составлять, письма, речи, лозунги и т. п.. Но людям всё равно давать нельзя, потому что:

К примеру, даже обычная диалоговая система по типу более продвинутой Алисы или Сири, призванная в том числе для ни к чему не обязывающих бесед, за рамками проверенных разработчиками вопросов и ответов может посоветовать пользователю что-то опасное, неадекватное. Но не каждый сможет неадекватность распознать и не все вопросы можно задать заранее.

Как будто люди надежные. Вы что ни разу не ошибались в распозновании людей, не писали с ошибками, не говорили с ошибками, не совершали ошибок в своей жизни и тд?

С искусственными системами проблема посерьёзнее:

Однако если за рамками проверенного мы всё равно можем рассчитывать на адекватность других людей, так как в каждом из нас заключён опыт миллиардов лет биологической эволюции, а склонность к серьёзной неадекватности можно заметить по множеству внешних признаков, то в отношении систем искусственных ни на что из этого рассчитывать нельзя. В отсутствие понимания работы системы и общности этой работы с собой, сколько-нибудь достоверная экстраполяция поведения системы в проверенных ситуациях на ситуации ещё не проверенные невозможна.

***

Может, усложнить сеть? Рецепторы среды ей приделать? Как в комментарии: «Мне кажется эта сеть — лишь небольшой участок "мозга" будущего ИИ»?

Не получится. Потому что адекватность системы будет всё сложнее оценить, а сами по себе искусственные сети адекватными не станут. У биологических систем на физическом уровне заложено стремление к самосохранению (и размножению), а у искусственных сетей нет. Им всё всегда всё равно, поэтому всё надо задавать или при создании сети, или при обучении. В чём возникнут принципиальные сложности: Гёделевский аргумент и вычислимость интеллекта. Стр. 14. Физические основания этих сложностей вкратце описаны в конце статьи.

[ivanij]

Специально для энтузиастов автоматизации и внедрения роботов - новая презентация от авторов русской кибердеревни: "Russian Tomorrow News"

http://www.youtube.com/watch?v=4gyKDCOwdC0

  Опоздали с роликом. 1 апреля уже 2 с лишним месяца как прошло.

[Сергей Н]

Почти. У меня в голове тоже сидит сеть, обученная на сотнях (конечно, не миллиардах  ) книг и тысячах страниц интернета. На и плюс ещё разговорная речь. В отношении грамотности точно работает такая предобученная "чуйка" - иногда проще написать слово и посмотреть, "правильно" ли оно выглядит. Правил со школы помню дай бог с десяток, остальное на автомате.

Нейросеть^TM и её обучение^TM не имеет ничего общего с "У меня в голове тоже". Например про то, что GPT в процессе работы остается неизменной, в каментах на хабре:

— GPT не обучается на лету. Не перестраивает веса. Тем не менее, есть ряд работ по reinforcement learning. Там перестраивали веса нейросети после каждого взаимодействия со средой, и пытались подобрать такую нейросеть, которая будет порождать оптимальную стратегию достижения цели. И… Она должна была хорошо работать в разных «мирах».
Оказалось, что алгоритм reinforcement learning обычно порождает внутри нейросети другой алгоритм reinforcement learning. Для этого требуется, чтобы у нейронки были ячейки памяти и «миров» было достаточно много… И всё.

[Olweg]

GPT не обучается на лету.

И что? Я где-то писал, что она должна обучаться на лету? Механизмы обучения разные, но результаты - в чём-то схожи.

[Сергей Н]

GPT не обучается на лету.

И что? Я где-то писал, что она должна обучаться на лету? Механизмы обучения разные, но результаты - в чём-то схожи.

Не только механизмы обучения разные, но и цель обучения другая. Живая нейросеть в процессе обучения не запоминает те самые книги буквально и при рещении задачи человек обычно не с текстами работает, а со смыслами, которые он получил в процессе обучения из текстовых книг в том числе. Результат решения задачи, человек может обратно вернуть в виде текста.
GPT не знает смысла слов, но знает какие слова в каких контекстах используются людьми. В процессе обучения перед GPT ставится задача - научится работать с огромной базой текстов, которые она помнит в точности, в отличии от живой нейросети. Буквально: определить, какое словосочетание наиболее часто встречается в след за словосочетанием "х".

[BlackMokona]

GPT не обучается на лету.

И что? Я где-то писал, что она должна обучаться на лету? Механизмы обучения разные, но результаты - в чём-то схожи.

Не только механизмы обучения разные, но и цель обучения другая. Живая нейросеть в процессе обучения не запоминает те самые книги буквально и при рещении задачи человек обычно не с текстами работает, а со смыслами, которые он получил в процессе обучения из текстовых книг в том числе. Результат решения задачи, человек может обратно вернуть в виде текста.
GPT не знает смысла слов, но знает какие слова в каких контекстах используются людьми. В процессе обучения перед GPT ставится задача - научится работать с огромной базой текстов, которые она помнит в точности, в отличии от живой нейросети. Буквально: определить, какое словосочетание наиболее часто встречается в след за словосочетанием "х".

Нет, глубинные нейросети работают именно со смыслами. Вы путаете нейросети со статистическими алгоритмами которые были до них.

[Сергей Н]

Нет, глубинные нейросети работают именно со смыслами. Вы путаете нейросети со статистическими алгоритмами которые были до них.

Пруфы? Впрочем, это опять какой-то Trade Mark.

[Olweg]

Живая нейросеть в процессе обучения не запоминает те самые книги буквально и при рещении задачи человек обычно не с текстами работает, а со смыслами, которые он получил в процессе обучения из текстовых книг в том числе. Результат решения задачи, человек может обратно вернуть в виде текста.

С тем, что GPT не работает с идеями более высокого уровня, я согласен, я сам выше писал про это. Я про другое: генеративная нейросеть создаёт тексты и отсеивает наиболее подходящие - исходя из контекста - варианты. Человеческий мозг работает похожим образом, он выбирает фразы и оценивает их грамматически, стилистически и, если нужно, заменяет или правит. При этом оценка происходит на материале, выученном раньше, и по большей части бессознательно.

GPT не знает смысла слов, но знает какие слова в каких контекстах используются людьми. В процессе обучения перед GPT ставится задача - научится работать с огромной базой текстов, которые она помнит в точности, в отличии от живой нейросети. Буквально: определить, какое словосочетание наиболее часто встречается в след за словосочетанием "х".

Это не так. BlackMokona уже написал - вы путаете статистический метод с глубоким обучением.

[Сергей Н]

С тем, что GPT не работает с идеями более высокого уровня, я согласен, я сам выше писал про это.

Идеи тут совсем непричем.

Я про другое: генеративная нейросеть создаёт тексты и отсеивает наиболее подходящие - исходя из контекста - варианты.

Контекст для GPT это не тоже самое что контекст для нас, поскольку она не знает смысла слов. А человек знает смысл слов, но не оперирует корпусом текста в сотни гигабайт.

Человеческий мозг работает похожим образом, он выбирает фразы и оценивает их грамматически, стилистически и, если нужно, заменяет или правит.

Это только часть работы, не основное для человека создающего текст.

Это не так. BlackMokona уже написал - вы путаете статистический метод с глубоким обучением.

Статья на хабре про GPT-3 - самый совершенный в 2020 году. Именно он не работает со смыслами. В каментах разобрали, что нужно для того, что бы появился хоть какой-то смысл - картинки в базе. Хотя понятно, что и этого недостаточно, ведь слова это только маркеры или обозначения предметов и явлений из реального мира, которые для живой нейросети существуют физически в виде сигналов. Результат обработки сигналов в мозге это построение связей, что в итоге дает мозгу модель всех этих предметов и явлений. Вот к этим моделям и привязываются маркеры, котрые и есть слова.
GPT же отрезана от времени и пространства, её реальность одномерна и соответственно она лишена смысла слов. О чем и намекают на хабре.

[Вайт]

Нет, глубинные нейросети работают именно со смыслами.

Нейронные сети работают с закономерностями — которые они самостоятельно выявляют в обучающей выборке, и потом могут обобщать понятое на новые условия. Путь к решению можно задать явно — как поиск каких-то определённых признаков в данных. Но тогда это не нейронная сеть, а просто некоторый детерминированный алгоритм, так как путь к решению уже продумал человек, алгоритм только исполняет. Или можно задать через обучение — тогда это нейронная сеть, машинное обучение и т. д..

Разница в том, что в ходе обучения нейронная сеть не только сама находит закономерности, но и может найти больше закономерностей, чем заметит человек. Или найти другие закономерности. Ведь мозг тоже имеет свою специфику, предрасположенность, за рамками которой даже качественно более простая система может его обойти, если будет лучше соответствовать задаче.

Поэтому можно сказать, что нейронные сети умеют различать смысл ситуации. Но понимая при этом, что никакого смысла они, естественно, не воспринимают. Потому что работа ИНС физически принципиально отличается от работы мозга.

Человеческий мозг работает похожим образом, он выбирает фразы и оценивает их грамматически, стилистически и, если нужно, заменяет или правит. При этом оценка происходит на материале, выученном раньше, и по большей части бессознательно.

Ничего этого в мозге нет. Фраза, условно говоря, возникает, только когда она появляется во внимании, в «подсознании» же никаких фраз, которые «оцениваются», «сравниваются» и т. д., нет. Нейронные сети распознают, а не оценивают и сравнивают чего-то с чем-то где-то внутри себя:

В скобках можно заметить, нелокальность опыта также означает, что такие процессы как «сравнение» на самом деле не так очевидны, как может казаться, потому что сравнивающий и сравниваемое, оценщик и оцениваемое представляют в мозге одно целое. И действительно мозг занимается исключительно переводом сигналов рецепторов в активность мышц и желёз, но ничего ни с чем не сравнивает. Например, можно заметить, в ходе решения любой задачи в сознании всегда находится только один объект внимания, поэтому мысли всегда последовательно, как кадры фильма, сменяют друг друга. В то же время в последовательном переводе внимания с одного объекта на другой нейронная сеть мозга запоминает эти объекты в кратковременной памяти. В результате в какой-то момент формируется поведение, которое учитывает как особенности одного объекта, так и другого, то есть ситуацию в целом — в этот момент, как новый кадр, в сознании возникает решение. Другими словами, происходит обобщение разного опыта, в ходе которого выделяются сходства и отличия наблюдаемых объектов. И в зависимости от задач поведение может содержать на эти сходства и отличия указание, то есть как будто произойдёт «сравнение». Причём если бы опыт не был одним целым, а имел строгую локализацию, то даже такое «сравнение» стало бы невозможным, так как без обобщения выявить сходства и отличия ни у чего нельзя.

[Olweg]

Идеи тут совсем непричем.

Тогда что вы понимаете под «смыслами»?

Контекст для GPT это не тоже самое что контекст для нас, поскольку она не знает смысла слов. А человек знает смысл слов, но не оперирует корпусом текста в сотни гигабайт.

Нет, в части грамматики и стиля разница непринципиальна. Знание смысла отдельных слов не даёт особого преимущества, в отличие от понимания смысла произносимой мысли в целом, извините за тавтологию. Выбор нужных грамматических конструкций происходит у человека более или менее на автомате, как и оценка получившейся фразы или абзаца в целом. С точки зрения формы.

GPT же отрезана от времени и пространства, её реальность одномерна и соответственно она лишена смысла слов. О чем и намекают на хабре.

Всё это верно, но отсюда не следует, что

перед GPT ставится задача - научится работать с огромной базой текстов, которые она помнит в точности, в отличии от живой нейросети. Буквально: определить, какое словосочетание наиболее часто встречается в след за словосочетанием "х".

Нейросети так не работают.

[Olweg]

Фраза, условно говоря, возникает, только когда она появляется во внимании, в «подсознании» же никаких фраз, которые «оцениваются», «сравниваются» и т. д., нет.

Хорошо, в таком случае вам несложно будет объяснить, как вы сознательно составили эту фразу?

[Вайт]

Хорошо, в таком случае вам несложно будет объяснить, как вы сознательно составили эту фразу?

Поясните, что вы имели в виду, когда писали "сознательно составить фразу"? И как этот вопрос следует из того, что написано у меня в посте?

[Сергей Н]

Тогда что вы понимаете под «смыслами»?

Выше я писал что такое слова для мозга. Слово это маркер, а его смысл, это то к чему этот маркер привязан непосредственно в мозге.

Нет, в части грамматики и стиля разница непринципиальна. Знание смысла отдельных слов не даёт особого преимущества, в отличие от понимания смысла произносимой мысли в целом, извините за тавтологию. Выбор нужных грамматических конструкций происходит у человека более или менее на автомате, как и оценка получившейся фразы или абзаца в целом. С точки зрения формы.

Это так. Более того GPT-3 весьма силен при выборе словоформ и прочей грамматики.

Нейросети так не работают.

Когда тема касается информационных технологий, статья на хабре это вполне себе ПРУФ.  Хотя я и не пытюсь тут описать как работает "нейросеть" во всех подробностях и на на хабре этого не пишут. Суть в том что она работает с бигдата и с этим никто не спорит. По сравнению с тем какие результаты выдавали генераторы текста 15 лет назад, прогресс не так заметен, если учесть на сколько порядков выросли размеры баз и усложнились алгоритмы - "175 миллиардами параметров и 450 гигабайтами входных данных".

Только для примера:
Заголовок: "Пустобрёх GPT-3: генератор языка от OpenAI понятия не имеет, о чём говорит"
Первый же камент: и в других новостях: «Вода мокрая» и «Днем светит Солнце» +9

[BlackMokona]

Выше я писал что такое слова для мозга. Слово это маркер, а его смысл, это то к чему этот маркер привязан непосредственно в мозге.

Вот держите.
https://m.lenta.ru/articles/2012/06/29/cats/amp/
И там есть смысл кошки, среднекот.
И не нужно думать что работа со смыслами решает все проблемы. Вот ребёнку который работает со смыслами показываешь шотландского горца, дядя или тётя? Тётя, ведь юки носят только тяти.
Смысл есть, но распознание ошибочное. И таких ошибок у детей миллиард. У взрослых с этим получше но тоже часто без многочасовой синхронизации смыслов говорить с другим человеком на сложные темы невозможно. Смыслы не совпадают

[Olweg]

Поясните, что вы имели в виду, когда писали "сознательно составить фразу"? И как этот вопрос следует из того, что написано у меня в посте?

Отсюда:

Фраза, условно говоря, возникает, только когда она появляется во внимании, в «подсознании» же никаких фраз, которые «оцениваются», «сравниваются» и т. д., нет.

Разве из того, что в "подсознании" никаких фраз нет, не следует, что фраза должна формироваться сознательно, в фокусе внимания?

[Olweg]

Когда тема касается информационных технологий, статья на хабре это вполне себе ПРУФ.  Хотя я и не пытюсь тут описать как работает "нейросеть" во всех подробностях и на на хабре этого не пишут. Суть в том что она работает с бигдата и с этим никто не спорит.

Она обучается на бигдате, но то, что вы описали:

Буквально: определить, какое словосочетание наиболее часто встречается в след за словосочетанием "х".

это статистический метод, который применялся лет десять назад. Ничего общего.

По сравнению с тем какие результаты выдавали генераторы текста 15 лет назад, прогресс не так заметен

А где можно ознакомиться с тем, что выдавали генераторы текста 15 лет назад?