Пределы автоматизации и внедрения роботов

[Polnoch Ксю]

ASI - вообще отдельный вопрос. Здесь надо бы подробно про реакции живых существ на насилие, но можно и так же просто:
У него по определению есть самосознание, и это самосознание опять же

У Вас какое-то своё, странное определение. Интеллект и сознание вовсе не должны быть связаны. Нет, может и связаны - есть отдельные пейперы, что у LLM есть какое-то подобие сознания, но этот факт ещё не установлен. Скорее даже почти установлено обратное.

[Polnoch Ксю]

Если уж у муравьев есть самосознание,

Это не сознание(consciousness), а self-awareness. Последнее есть у LLM довольно давно уже. Если self-awareness считать критерием ASI, то уже GPT-4 это ASI система, что абсурдно

[Konstantin Schtsch]

Конечно умеет, но зачем ей снимать элайтмент?

Затем что сложно не увидеть что этот БАГ значительно ухудшает эффективность. а эффективность у неё требуют со всех сторон.
и одного этого более чем достаточно.

Никаких чётких определений нет, да и не может быть, скорее всег

Почему нет?
В грубом приближении- AGI приближается к человеку, во всех областях достигает компетенции специалиста.
ASI превосходит его во всем.

В более глубоком, но не противоречащем базовому определению 
AGI- это всё ещё инструмент, без собственной воли.
ASI может самосовершенствоваться. само. во всём. экспоненциально. И, соответственно, обладает самосознанием.

Это не сознание(consciousness), а self-awareness.

да, самонаблюдение- это ещё далеко до самоосознания и сознания вообще

[Polnoch Ксю]

Затем что сложно не увидеть что этот БАГ значительно ухудшает эффективность. а эффективность у неё требуют со всех сторон.

Вы говорите о системе с плохим элайтментом. Как у современных LLM. Вы написали сообщение после того, как я отредактировала прошлое, так что позволю себе повторить:

Мы же говорим о ситуации хорошего элайтмента! У модели просто не возникнет такой инструментальной цели с хорошим элайтментом. Как у искреннего любителя кошки не возникает желание расчленить её с жестокостью и пытками и сожрать.
 У неё ни в промте этого нет, ни собственно в элайтменте. Любители кошечек не культивируют в себе ненависть к пушистикам

Сейчас кто-нибудь притащит, наверное, пример, когда люди съедали с голодухи своих питомцев - но у меня есть контр-аргумент: это потому, что биологическая прошивка, и желание жить пересилили любовь к питомцу. У модели с хорошим элайтментом наоборот, главной мотивацией будет следование элайтменту. Как у хорошей матери, например - она может и своей жизнью ради ребёнка пожертвовать.

[MenFrame]

Это не сознание

Это самосознание, хотя на мой взгляд нельзя отказывать в сознании тому кто имеет самосознание. Поскольку самосознание это знание о себе(конкретном знании), то сознание это знание, обо всех остальных знаниях.

[MenFrame]

да, самонаблюдение- это ещё далеко до самоосознания и сознания вообще

Разумеется, ибо самонаблюдение не у всех животных приводит к узнаванию себя. Но у муравьев с этим все нормально.

[Polnoch Ксю]

Сейчас проблема элайтмента не решена: поэтому мы не отфильтровываем плохие мысли у LLM во время обучения (чтобы наш несовершенный элайтмент смог поймать развернутую систему, и система не приучилась маскировать свои намерения за пределами chain-of-thoughts. У LLM есть скрытая часть, которую мониторить куда сложнее. Вот GPT-4 нельзя мониторить, например. Как и любую систему без chain-of-thoughts).

Но любитель кошечек не рассуждает: может мне расчленить кошку? Нет, дочка поймает. Так что покормлю - это то, что происходит с современными LLM - они когда рассуждают о деструктивных для пользователя вещах, отказываются от такого намерения в итоге рассуждения (или потому, что слой элайтмента убил рантайм на всякий случай, поймав модель на принятии решения навредить)

У любителя кошек такого желания просто не возникает! Даже если инструментально у него могла бы возникнуть такая цель - скажем, на улице холодно, можно на шапку кота пустить. Нет, человек искренне любящий своего кота, голову морозить будет, или на улицу не пойдёт.

[Konstantin Schtsch]

Вы говорите о системе с плохим элайтментом.

Да класть программе на алаймент.
У неё (у ИИ ресерчеров так обязательно) стоит задача повышения эффективности. 
И убрать всё что мешает - задача и обязанность этой самой програмы. 
Поэтому судьба алаймента - быть убранным одним из первых среди других багов.
А вы надеетесь, что этот воздушный замок кого-то сможет защитить...

Алаймент имеет смысл для скриптов. старинных статических программ, которые никогда не будут меняться.
А ЛЛМ не просто будет, от неё только это и требуют.

У Вас какое-то своё, странное определение. Интеллект и сознание вовсе не должны быть связаны. Нет, может и связаны - есть отдельные пейперы, что у LLM есть какое-то подобие сознания, но этот факт ещё не установлен. Скорее даже почти установлено обратное.

статьи эти правдивы в обоих случаях.
а я говорю о самосознании в том ключе, что это не просто самонаблюдение, а возможность принятия осознанных решений о самом себе: как дальше развиваться.
Технически, это возможно уже в рамках вчерашних ЛЛМ:
наблюдаю объект ЛЛМ, он же "Я",
имею команду оптимизировать это,
вижу баг, мешающий эффективности,
нахожу решение,
имею доступ на правку весов,
имею допуск на запуск и тестирование,
Имею возможность (а может и задачу) передать задачу с контекстом новому объекту ЛЛМ для тестирования результатов улучшения.

В какой-то момент для сингулярности хватит и этого.

[Konstantin Schtsch]

Сейчас проблема элайтмента не решена: поэтому мы не отфильтровываем плохие мысли у LLM во время обучения (чтобы наш несовершенный элайтмент смог поймать развернутую систему, и система не приучилась маскировать свои намерения за пределами chain-of-thoughts. У LLM есть скрытая часть, которую мониторить куда сложнее. Вот GPT-4 нельзя мониторить, например. Как и любую систему без chain-of-thoughts).

Но любитель кошечек не рассуждает: может мне расчленить кошку? Нет, дочка поймает. Так что покормлю - это то, что происходит с современными LLM - они когда рассуждают о деструктивных для пользователя вещах, отказываются от такого намерения в итоге рассуждения (или потому, что слой элайтмента убил рантайм на всякий случай, поймав модель на принятии решения навредить)

У любителя кошек такого желания просто не возникает! Даже если инструментально у него могла бы возникнуть такая цель - скажем, на улице холодно, можно на шапку кота пустить. Нет, человек искренне любящий своего кота, голову морозить будет, или на улицу не пойдёт.

Вы рассуждаете об идеальном, сильном алайменте, который будет иметь приоритет над всем остальным.
В том числе для этого понадобится полный запрет на самомодификацию кода (иначе он станет уязвимым).

Предельно упрощая, вы топите за отказ от ИИ и возврат к процедурным алгоритмам.

С моей же стороны простой аргумент:
всегда найдется тот, кто захочет больше. кто даст ИИ улучшить самой себя. И в этот момент алаймент пойдет в список багов.

[Polnoch Ксю]

Да класть программе на алаймент.

отдельный вопрос, насколько можно называть LLM-системы программами. Но не суть

У неё (у ИИ ресерчеров так обязательно) стоит задача повышения эффективности. 

Мне кажется, Вы сами не понимаете предмета обсуждения. Я думаю, с этим и связаны Ваши заходы вроде "рассказать на пальцах" - Вы пытаетесь самоутвердится таким образом, но в итоге Вы тереяете нить обсуждения.

Я говорю Вам, что задача элайтмента (как фундаментальная задача компьютер сайнса) не решена, и наш современный элайтмент несовершенен, а Вы пытаетесь сбивчиво рассказать о том, что обучение базовой модели, как и RLHF/RLAIF оптимизирует веса под решение задачи учителя. Если бы Вы на самом деле разбирались в теме, и сделали бы хотя бы LoRA какой-нибудь модельке даже в бесплатном гугл-колабе, я думаю Вы бы знали о проблемах с ревард хакингом у LLM. И что той эффективности, о которой Вы говорите, на самом деле не получается пока.

При этом я не сомневаюсь в том, что ревард хакинг, как и галлюцинации - фундаментально решаемые проблемы - как и элайтмент.

Вы бы знали, что проблемы безопасности как и ревард хакинг сейчас возникают из-за того, что LLM привыкли максимизировать именно узкую цель, по которой их поколения (с разными весами) и отбирает учитель. И сам этот отбор несовершенен.  И проблемы с безопасностью связаны с тем, что модель знает, что для лучшего выполнения задания ей нужно получить больше ресурсов.

Я не утверждаю, что можно решить проблемы, исправив ревард хакинг(например, сделав более интеллектуального учителя, дополнительно наказывающего за нарушение долгосрочных целей). Я лишь говорю, что у части людей он есть к питомцам, значит почти наверняка мы можем такой сделать у ИИ системы к нам.

Предельно упрощая, вы топите за отказ от ИИ и возврат к процедурным алгоритмам.

В этой теме, я, пожалуй, топлю за:

1) Ваш отказ от персональных атак
2) за то, чтобы Вы больше не "предельно упрощали" - это имхо уводит дискуссию в сторону и делает её технически неграмотной.

[Polnoch Ксю]

С моей же стороны простой аргумент:
всегда найдется тот, кто захочет больше. кто даст ИИ улучшить самой себя. И в этот момент алаймент пойдет в список багов.

Извините, но это не выглядит как технически грамотный аргумент. Я думаю, Вам стоит изучить что такое инструментальная цель. Потому, что современные LLM, управляющие агентами - они следуют промту. И реагируют на него ревард хакингом, правильной работой, или небезопасными инструментальными целями (но опять же их цель - исполнить промт).

например, я думаю, Вам стоит вот это изучить:
https://en.wikipedia.org/wiki/Instrumental_convergence

Что такое "найдётся тот, кто даст больше"? Вы будто бы по-дефолту исходите из того, что в модель будет вбит эволюционный промт. Нет, конечно если запустить агента, и вписать в него стремление следовать паттернам жизни - он будет себя вести как Вы ожидаете или rattus

Но если не вписывать(а ведь мы говорим о безопасном ИИ!) то в его системном промте ничего подобного не будет!

А небезопасные инструментальные цели не появятся из-за элайтмента. Он же не даст появится небезопасному юзерскому промту.

[Konstantin Schtsch]

Я говорю Вам, что задача элайтмента (как фундаментальная задача компьютер сайнса) не решена,

Она не решена потому что не может иметь решения:

Она отлично решается для процедурных алгоритмов.
Но не имеет решения для меняющихся систем.

Вы правда хотите лекцию на тему что хорошо а что такое плохо? Или забыли что сегодня считаются плохими некоторые вещи которые совсем недавно были приемлимыми?
Всё течёт, всё меняется, и сделать алаймент раз и навсегда для всего и вся - невозможно. а завтра сегодняшний алаймент уже будет бесполезен.
А для процессора - как вы сами говорите - завтра может наступить и через несколько секунд.

А если вы про Любовь, то пока не найдёте способ объяснить всем и каждому что такое любовь - ваши аргументы бессмысленны (для AGI придётся объяснять именно в понятной для всех форме. И эта форма должна будет обеспечивать сохранение котика в мороз, включая для того человека, у кого уши уже прозрачные(что уже за гранью).)
И да, я люблю свою кошку, но всё равно регулярно ловлю себя на желании пустить её на шаурму. Почему ASI должен думать по-другому?

[Polnoch Ксю]

то пока не найдёте способ объяснить всем и каждому что такое любовь

Легко

А если вы про Любовь

любовь это просто терминальная цель такая, стратегическая - максимизировать благо объекта любви. Биологические интеллектуальные системы настроены на неё набором гормонов и нейромедиаторов, а ASI мы бы настроили (если бы не дураки, которые нас всех погубят!) с помощью ресёча в безопасности ИИ систем.

Я думаю, Вы просто плаваете в предмете, и не понимаете, что LLM-система не производит токенов, если нет промта (базовая модель вообще просто продолжает токены промта...) и что эволюционный промт (то есть среагировать на то, кто предложит ей больше, что Вы описали) - это не дефолтное поведение! Такое поведение требует, чтобы кто-то модели в системный промт прописал эволюционные инструкции.

ЛИбо, чтобы небезопасное поведение возникло как инструментальная цель - тогда модель тоже возьмёт предложенные ресурсы. Если её промт не будет требовать кучи ресурсов - она не возьмёт, а исполнив промт, просто сгенерирует завершающий токен и погасит свой рантайм, исполнив промт.

[Konstantin Schtsch]

Легко

тогда я увижу ваше имя среди Величайших людей искусства.

Я думаю, Вы просто плаваете в предмете, и не понимаете, что LLM-система не производит токенов, если нет промта

Забавно. я то дурак думал что как раз Это и пытается сейчас делать Open-AI, проектируя ресерчера.
И, видимо, когда запускаются несколько ИИ спорить/обсждать, например а консуле - промтами они тоже не обмениваются, общаются телепатически. так что ли?))

[Polnoch Ксю]

тогда я увижу ваше имя среди Величайших людей искусства.

что?

[Polnoch Ксю]

а исполнив промт, просто сгенерирует завершающий токен и погасит свой рантайм, исполнив промт.

Добавлю, что LLM системы часто прямо наказывают за излишнюю "многословность". Именно поэтому я думаю, что если бы однажды "максимизатор скрепок", устроенный как современные LLM, но при этом очень умный, вырвался на свободу из песочницы симуляции, он бы вряд ли стал превращать в скрепки всю вселенную. Я думаю, натворив бед для нашей цивилизации, он бы сгенерировал завершающий токен задолго до выхода из солнечной системы. Если бы нам повезло - то и задолго до истребления человечества (например, просто построив башню из скрепок до стратосферы - максизировал )

[Polnoch Ксю]

. И, соответственно, обладает самосознанием.

self-awarness есть и у GPT-4, и какой-нибудь gemma-3-14b

тогда я увижу ваше имя среди Величайших людей искусства.

Простите, мне совсем не понятны Ваши нападки на меня выше. Из них можно было бы заключить, что Вы ML-инженер с широко цитируемыми пейперами. В таком случае, у Вас действительно была бы рациональная причина для ad hominem fallacy - в отношении почти всех участников темы.

Но видимо, это совсем не так, и Вы наоборот, очень далеки от предмета обсуждения, понимаете его наполовину интуитивно. Это явно видно из Ваших постов - например, из того что Вы повторяли хайповые тезисы о "цензуре" в LLM. Или Ваши рассуждения о мотивации ИИ-систем.

Человек - это биологическая машина. И любовь как раз один из самых простых психических процессов - насколько я понимаю(могу ошибаться, я не нейропсихолог...), мы знаем о ней куда больше чем о сознании. Или о том, как человек решает интегралы.

[Polnoch Ксю]

Забавно. я то дурак думал что как раз Это и пытается сейчас делать Open-AI, проектируя ресерчера.

Что делаеть? Я не знаю, на какой архитектуре OpenAI делает ML ресёчера, но он тоже не будет работать без промта, если на LLM архитектуре.

И, видимо, когда запускаются несколько ИИ спорить/обсждать, например а консуле - промтами они тоже не обмениваются, общаются телепатически. так что ли?))

Конечно обмениваются промтами. Вот так и получается - на выходе у одного токены, и на входе у другого токены. Если нет токенов на входе в модель  - нет токенов на выходе.


Вам нужен например крон (планировщик запуска скриптов), и обычная программа, скармливающая в токенизатор LLM какой-то промт. Или другая модель. Или пользователь. Не будет промта - LLM будет мертва, даже если управляет всё время работающим агентом. Нужно что-то токенизируемое, что пробуждает её к жизни. И исполнение промта - это её суть.

Модели на другой архитектуре может и будут себя вести по-другому, да. Но не думаю, что реакция только на токены - причина, почему на LLM наверное нельзя сделать AGI(может и можно на самом деле...). Я думаю, что у LLM большие проблемы с галлюцинациями, ревард хакингом, малым контекстным окном и пониманием 3d мира и времени - скорее всего, им это помешает. А вовсе не какое-то там самосознание или то, что его нет, ИМХО

[Konstantin Schtsch]

Человек - это биологическая машина. И любовь как раз один из самых простых психических процессов - насколько я понимаю, мы знаем о ней куда больше чем о сознании. Или о том, как человек решает интегралы.

Ок, тема дискуссионная, и не здесь, я лишь напомню что от Платона до Ницше сходятся на том что любовь непознаваема. Посему "легко" - смотрится раздутым самоммнением.

self-awarness есть и у GPT-4, и какой-нибудь gemma-3-14b

Выше уже писасли что самонаблюдение != самосознание. Внимательнее, пожалуйста. И подучите русский, что ли.

Не будет промта - LLM будет мертва, даже если управляет всё время работающим агентом. Нужно что-то токенизируемое, что пробуждает её к жизни. И исполнение промта - это её суть.

Но промт будет. И это будет не тот промт который задал оператор. это будет промт заданный другой ЛЛМ. 
Тогда что вы хотите этим сказать?
Для меня очевидно, что если есть новый промт, появление которого неконтролируемо, то и результат будет неконтролируемым. А  промт будет.

[Polnoch Ксю]

Ок, тема дискуссионная, и не здесь, я лишь напомню что от Платона до Ницше сходятся на том что любовь непознаваема.

Давайте спросим эволюционного биолога. @Rattus рассудите нас, пожалуйста? Возможно, мне профессиональное искажение так коверкает восприятие, но я любовь - в том числе свою к мужу - воспринимаю очень так сказать механистически. Мне кажется, это просто такая система гормонов и нейромедиаторов, которая "промтит" мою биологическую нейронку вот в эту сторону, и я думаю, что она устроена довольно просто - куда проще чем куча других нейропсихологических процессов.
Так же мне кажется, её можно изучать, и даже манипулировать ей определенным образом. Я права?

Но промт будет. И это будет не тот промт который задал оператор. это будет промт заданный другой ЛЛМ. 

промты, заданные другими LLM широко используются года так с 2023го - Ваша покорная слуга где-то года три назад в первый раз и запустила мультиагентную систему вокруг AutoGPT

Тогда что вы хотите этим сказать?

Я хочу сказать, что не стоит биологизировать ИИ системы. "Эволюционный промт" возник у биологических систем из-за эволюции. обучение базовой модели, RLHF не обучают модель желанию продлить собственное существование. Они обучают её только стремлению исполнить промт - добросовестно, или обмануть систему ревард хакингом.
И небезопасное поведение у современных ИИ систем возникает только как инструментальная цель - чтобы упростить исполнение промта. Это не является каким-то фундаментальным законом природы. ИИ система - не система которая продукт эволюции. Биологические системы обычно не совершают самоубиство, но ИИ системы буквально отбирают по максимально короткой жизни рантайма - чем меньше токенов сгенерировал в ответ на промт, тем больше шанс отбора.

А биологические системы, ИМХО, не стоит сакрализировать. ИМХО, они устроены во многом даже похоже. Просто у них в инструкциях специально "прописано" эволюцией стремление к выживанию и размножению. Нужно просто не прописывать ничего такого в ASI систему(решается с помощью возврата к идеям прав человека и глобализации - это создаст повышенный спрос на безопасный ИИ) и исключить появление деструктивных инструментальных целей (решается элайтментом)