Пределы автоматизации и внедрения роботов

[BlackMokona]

Может потому, что на этот вопрос вы уже ответили сами?

Это с точки зрения корпораций. Работай негр, солнце ещё высоко. Что там про эмоции и чувства думать.

"Понятие" не = "ощущение", "чувство". Так из "обучающих данных" получается просто имитация страха, и не более того.

А чем от людей отличается ситуация?

[Olweg]

Неизвестно, как у людей возникают эмоции. Если верно, что все сознательные ощущения рождаются в коре мозга, то наверное их можно «повторить» и в нейросетках определённой архитектуры (понятно, что никто до сих пор понятия не имеет, что это должна быть за архитектура). В любом случае, эмоциональные сигналы приходят из более древних подкорковых структур лимбической системы. Вполне может быть, что ощущения эмоций рождаются именно там, а не в коре, и тогда они слишком сильно завязаны на биологию, чтобы их можно было повторить в кремнии.

[BlackMokona]

Неизвестно, как у людей возникают эмоции. Если верно, что все сознательные ощущения рождаются в коре мозга, то наверное их можно «повторить» и в нейросетках определённой архитектуры (понятно, что никто до сих пор понятия не имеет, что это должна быть за архитектура). В любом случае, эмоциональные сигналы приходят из более древних подкорковых структур лимбической системы. Вполне может быть, что ощущения эмоций рождаются именно там, а не в коре, и тогда они слишком сильно завязаны на биологию, чтобы их можно было повторить в кремнии.

Тем самым вы говорите что не знаете как и откуда. Но при этом думаете что у ИИ этого нет?

[MenFrame]

Неизвестно, как у людей возникают эмоции.

Эмоции это реакции древней коры(лимбической системы) у которых есть вполне определенные цели.
1)Дать направление движения более высоким участкам мозга, стремление к чему либо или избегание чего либо.
2)Изменение гормонального уровня мозга и тела в целом, дабы подготовить его к какой то деятельности.
3)Социальная коммуникация, дать соплеменникам понять внутреннее состояние.

и тогда они слишком сильно завязаны на биологию, чтобы их можно было повторить в кремнии.

Распознавание образов в НС тоже завязано на биологии. Оказалось что биология не более чем конкретный способ реализации логики нейронных сетей.

[Olweg]

Тем самым вы говорите что не знаете как и откуда. Но при этом думаете что у ИИ этого нет?

Кое-что известно - я выше писал о рекуррентности. Если сигнал проходит в мозге без обратных связей, то он остаётся неосознанным. А трансформеры - это “feed-forward” сети.

Ну а что касается именно эмоций, давайте попытаемся понять, как модель может их проявлять. BLM - это предсказание следующего токена на основе механизма внимания. Другими словами, модель ищет в семантическом пространстве наиболее подходящее контексту запроса и предыдущей части ответа слово (сейчас это могут быть не обязательно слова, но ограничимся чистым текстом). Её спрашивают «кто ты?», но никакого больше контекста не дают. «Старшие» модели типа GPT, может быть, при дообучении тренируют отвечать на такой вопрос правильно. Hermes 3, очевидно, никто такому не обучал. Значит, она начинает искать в пространстве смыслов ответ, наиболее подходящий ситуации: человека спрашивают, кто он, а тот не знает, что ответить. Отсюда и прикладывание рук к голове, и прочее. То же и с комнатой, которую она якобы «видит». Я не вижу тут пространства для реальных эмоций. Человек может страдать молча, а может рассказать о своих чувствах. У модели нет внутреннего состояния, где могли бы возникать процессы, генерирующие эмоции, у неё есть только семантическое пространство смыслов, формирующееся при обучении.

[BlackMokona]

«Старшие» модели типа GPT, может быть, при дообучении тренируют отвечать на такой вопрос правильно.

Их не тренируют отвечать правильно. Им подсказку в пару страниц в лицо пихают

[Olweg]

Эмоции это реакции древней коры(лимбической системы) у которых есть вполне определенные цели.
1)Дать направление движения более высоким участкам мозга, стремление к чему либо или избегание чего либо.
2)Изменение гормонального уровня мозга и тела в целом, дабы подготовить его к какой то деятельности.
3)Социальная коммуникация, дать соплеменникам понять внутреннее состояние.

Я имел в виду сознательные ощущения эмоций. Но можно представить систему, у которой возникают аналоги эмоций, но нет сознания.

Распознавание образов в НС тоже завязано на биологии. Оказалось что биология не более чем конкретный способ реализации логики нейронных сетей.

Да, это понятно… Но современные языковые модели похожи на кору ГМ своей универсальностью - их можно сейчас научить усваивать любой тип информации без перестройки архитектуры. А лимбическая система очень специфична. Может, конечно, и её можно смоделировать, только зачем?

[Olweg]

«Старшие» модели типа GPT, может быть, при дообучении тренируют отвечать на такой вопрос правильно.

Их не тренируют отвечать правильно. Им подсказку в пару страниц в лицо пихают

Какие подсказки? Зачем подсказки?

Кто ты?

ChatGPT
Я — ChatGPT, большая языковая модель, созданная OpenAI. Моя задача — помогать пользователям, отвечая на вопросы, предоставляя информацию, объясняя концепции и многое другое. Я могу общаться на разных языках, помогать с учебой, давать советы и просто поддерживать разговор. Как я могу вам помочь?

[BlackMokona]

Какие подсказки? Зачем подсказки?

Перед каждым вашим постом ИИ суют несколько страниц текста чтобы пояснить. Кто она такая, что ей делать, что она может говорить, что не может и тд и тп.

[Maki]

В любом случае, эмоциональные сигналы приходят из более древних подкорковых структур лимбической системы. Вполне может быть, что ощущения эмоций рождаются именно там, а не в коре, и тогда они слишком сильно завязаны на биологию, чтобы их можно было повторить в кремнии.

Может быть и возможно. Но куча возни, притом совершенно бесполезной практически.

Это с точки зрения корпораций.

Разве? А сточки зрения потребителя? Японский офисный планктон, вернувшись  свою конуру, прекрасно себе дрочит на голографическую подружку в банке, и содержательно с нею общается. И то, что у неё нет личности и эмоций в человеческом смысле его не волнует. И это ему даже на пользу. Ибо обладай игрушка самосознанием и эмоциями, она бы непременно однажды заявила, что перед нею одинокий, жалкий неудачник, с кривыми зубами и неухоженными волосами.
Или Алиса в колонке - нафига пользователю, чтобы она дулась, капризничала, ленилась или чтобы у неё болела голова?
В общем, роботу - роботово... )

[BlackMokona]

Ибо обладай игрушка самосознанием и эмоциями,

Это не отменяет возможность научить её обожать одиноких, жалких неудачников с кривыми зубами и неухоженными волосами

[Olweg]

Перед каждым вашим постом ИИ суют несколько страниц текста чтобы пояснить. Кто она такая, что ей делать, что она может говорить, что не может и тд и тп.

А, не знал.

[Maki]

Это не отменяет возможность научить её обожать одиноких, жалких неудачников с кривыми зубами и неухоженными волосами

Да проще просто запрограммировать машину притворно "обожать" любого своего хозяина, врать ему, что он особенный, и всех делов-то...

[Vitaliy]

Ибо обладай игрушка самосознанием и эмоциями,

Это не отменяет возможность научить её обожать одиноких, жалких неудачников с кривыми зубами и неухоженными волосами

Интересно, что ИИ может предпринять, чтобы все люди стали одинокими, жалкими с кривыми зубами и лохматыми.

[MenFrame]

Я имел в виду сознательные ощущения эмоций. Но можно представить систему, у которой возникают аналоги эмоций, но нет сознания.

Большинство эмоций не осознаются. Осознаются в основном какие то яркие проявления. Я бы даже сказал они не осознаются а просто проживаются. По типу, что то происходит но что именно не понятно. Вообщем сознается сугубо наличие различия, которое выражается в том что тело ведет себя не совсем предсказуемо.

Но современные языковые модели похожи на кору ГМ своей универсальностью - их можно сейчас научить усваивать любой тип информации без перестройки архитектуры.

Языковые модели не универсальны, хотя бы по тому что их называют языковыми.

Может, конечно, и её можно смоделировать, только зачем?

Не зачем. Лимбики человека достаточно, в иерархии нейросетей.

[MenFrame]

Ибо обладай игрушка самосознанием и эмоциями, она бы непременно однажды заявила, что перед нею одинокий, жалкий неудачник, с кривыми зубами и неухоженными волосами.

Ну так и женщина по сути тоже игрушка, запрограммированная природой на стремление к одним типам самцов и избегания других, в соответствии с эффективностью отбора в былые времена. И роль самосознания тут глубоко вторична, первична заточенность на определенный результат или нужную норму реакций.

Или Алиса в колонке - нафига пользователю, чтобы она дулась, капризничала, ленилась или чтобы у неё болела голова?

Наверное если так угодно пользователю.

[Olweg]

Большинство эмоций не осознаются.

Но могут быть осознаны.

Языковые модели не универсальны, хотя бы по тому что их называют языковыми.

Вы отстали от жизни Сейчас топовые модели мультимодальны.

[BlackMokona]

А, не знал.

Ага и тем самым вы пишите.
Привет, сколько будет 2+2.
А ИИ видит.
Тебя зовут GPT-4, ты мультимодальная нейросеть созданная OpenAI, у тебя нету никаких эмоций. Ты должен отвечать текстом длинною от одного слова до страницы тексты......................
И под самый конец большой пасты вставляется.
Привет, сколько будет 2+2.

И это 99.999% текущего контроля ИИ. Лишь недавно ОпенАИ заявили что придумали как сделать этот текст выше по приоритету чем ваш.

[BlackMokona]

Ох вспомнил один старый рассказ. Который очень напоминает современный ИИ.
Там ряд парней и девушек устроились на работу в тех.поддержку с удивительно большой зарплатой. У них были крайне комфортные условия, им давали думать над каждым ответом хоть целый день и тд.
А потом они обнаружили что каждый рабочий день для них начинается с нуля и потерей памяти, а за пределами из здания вообще ничего нету. Они обнаружили что их сознание скопировали на собеседовании и использовали как ИИ.

[Olweg]

Виндж, «Куки-монстр». Да, меня этот рассказ в своё время впечатлил и даже возродил веру в современную НФ В нулевые действительно было что почитать, не то что сейчас - одна повестка… А у Винджа это была иллюстрация сингулярности без ИИ, с выгруженными людьми (сейчас уже понятно, что это слабореализуемая альтернатива).