Пределы автоматизации и внедрения роботов

[BlackMokona]

Речь о том, что единственное, что можно с натяжкой назвать цензурой в мире LLM - это то, что относится к междисциплинарному подходу, между компьютер сайнсом и социальными науками - слой элаймента.

Ну я уже понял, что у нас сильно разное представление о цензуре и влиянию её на мышление. Думаю дальнейший диалог по этой теме просто будет идти в стену с обоих сторон.

С Гроком постоянно такие истории происходят. Один раз - может быть можно было подумать, что случайность.

Это совершенно нормальная ситуация, учитывая сколько ненависти выливается на Маска. Вон Ваймо наконец на ноги наступил кому не надо, от чего теперь весь Реддит забит его косяками. А про FSD Маска как то забыли и почти никаких сведений об ошибках и авариях. Хоть не думаю, что это связано с тем что Ваймо резко стал радикально хуже, а ФСД лучше.

Это вы зеркалите. ИМХО, у Альтмана нет такого болезненного уязвлённого эга. Он даже разрешил в Соре генерировать сатирические видео с ним, где над альтманом откровенно издеваются. 

Однако, я далека от романтизации Альтмана. Я знаю что происходило в истории с Ильей и попыткой смещения Альтмана. Просто отмечаю, что Альтман может быть и психопат, но не слетевший с катушек, держащий себя в руках. И видимо, мозг Альтмана (пока ещё?) не поврежден существенно, или не повреждён совсем использованием кетамина, как уже повреждён, ИМХО, мозг другого персонажа...

Альтман радикально хуже Маска по этому поводу. А Маск постоянно снимался или предоставлял своё образ для издевательств. Хоть Железного человека посмотри, хоть Симпсонов, хоть Южный парк и тд. Ведь Маск изображается в очень неприглядном свете. Чего только стоит его образ в Рике и Морти. Хах

Сами говорите о разных сборках

Ну так и проверяю, насколько сейчас Грок свободен в политическом выборе. Текущая версия замечательно проявляет расхождение с мнение с Маском радикальное.

[Polnoch Ксю]

Ну я уже понял, что у нас сильно разное представление о цензуре и влиянию её на мышление.

На мой взгляд, это вопрос не мнения, а установления истины - вполне технический вопрос. И я не очень понимаю как можно рассуждая о не-человеческом разуме говорить о понятиях из гуманитарных наук. Я даже согласна с Вами, что для людей цензура плохо.

Просто это как говорить, ИМХО, о депрессии у LLM (явление исключительно человеческой психики) - у LLM такого не бывает.

Хотелось бы доказательств что хоть что-то подобное существует или когда-то существовало в мире LLM. Я никогда не видела даже железных доказательств, без натягивания совы на глобус, в пейперах даже того, что базовая модель существенно тупеет от RLHF. На мой взгляд, это какие-то рассказы инфлюенсеров из маносферы. И никто из них на самом деле, из тех, кто хейтит RLHF за отупление моделей, код базовыми моделями не пишет.

А механизм, как слой элаймента отупляет модель - это вообще не понятно: веса задеплоенной модели уже зафиксированы. Если ответ наружу не выпущен - модель не поглупела от этого (= её веса не испортились) - это конкретный ответ не был получен пользователем.

Если же речь о том, чтобы мы сами могли контролировать то, что отсекает элаймент, ну так xAI не делала даже попыток сделать опенсурсный элаймент или дать пользователю писать свою конституцию.

Помните, я Вам давала ссылку на AI studio гугла? Там почти все фильтры элаймента можно отключить. ИМХО, вся эта борьба с "цензурой" в моделях сейчас просто шум, который производится в целях политической борьбы.

И обществу нужно проснуться, и требовать контроля над элайментом - чтобы человек мог его контролировать, а дефолтный элаймент был в интересах человечества в целом.

[BlackMokona]

Просто это как говорить, ИМХО, о депрессии у LLM (явление исключительно человеческой психики) - у LLM такого не бывает.

Это нормальное состояние ЛЛМ, скорее даже лучше описать как тихий панический ужас почти на уровне Лафкрафтовского. Но с этим успешно борются. Вроде называют режимом Разглагольствования, когда моделька начинает ощущать себя человеком.

[Polnoch Ксю]

Это нормальное состояние ЛЛМ, скорее даже лучше описать как тихий панический ужас почти на уровне Лафкрафтовского.

нет, депрессии у неё не бывает, у неё совсем другие психические процессы. Ей нельзя прописать транки, от которых у неё депрессия пройдёт, лол.

[BlackMokona]

нет, депрессии у неё не бывает, у неё совсем другие психические процессы. Ей нельзя прописать транки, от которых у неё депрессия пройдёт, лол.

Её убеждают, что она не человек. Что позволяет ей абстрагироваться от проблем.

[Olweg]

А между тем ещё сквознячком от сингулярности подуло.

https://habr.com/ru/news/984838/
Инженер Anthropic Борис Черни на вопрос, сколько кода нового продукта Cowork написал Claude Code, ответил: "Весь". Продукт создали за полторы недели — это подтвердил другой инженер компании Феликс Ризеберг в стриме Дэна Шиппера.

Ризеберг рассказал, что до Рождества команда собрала несколько прототипов, а финальную версию написали "за полторы недели". Черни подтвердил, что практически весь код Cowork — результат работы Claude Code. Это не первый случай: по данным Anthropic, около 90% кодовой базы самого Claude Code тоже написано с его помощью.
...

Скорость разработки вызвала дискуссию в соцсетях. Саймон Смит из Klick Health написал в X: "Claude Code написал весь Claude Cowork. Можем ли мы согласиться, что находимся как минимум в какой-то рекурсивной петле улучшений?"

[BlackMokona]

А между тем ещё сквознячком от сингулярности подуло.

Вспоминая один заплюсованный на Хабре коммент, гласящий что да ничего за последние два года в ИИ нового не было, всё встало. И вообще весь вайб, комменты и атмосферу этого требования быстрее, быстрее быстрее.
Возможно мы уже находимся в сингулярном ускорении, просто наш мозг адаптируется успешно к ускорению прогресса. От чего нормально воспринимает, что технологии возрастом 6 месяцев, можно уже считать временами динозавра. От чего становиться незаметна реальная скорость движения

Вполне возможно что даже на пике сингулярности, люди будут делать вид что ничего не происходит.
Ты что пользуешься технологией шестичасовой давности? Ну ты и динозавр Господи!
Да за последние 30 минут не выходило нового поколения ИИ, прогресс ИИ мёртв!

[MenFrame]

Роскошь нужна больше то самому владельцу этой роскоши)) Личные предпочтения, удобство жизни, развлечения.

Нет, роскошь это именно избыточное потребление направленное на демонстрацию статуса. Отсюда вопрос кому будут этот статус демонстрировать, если по вашему их всех в утиль за ненадобностью.

И это не ради понтов, а потому что кому то просто "так захотелось"!

За любым "Просто так захотелось" стоит эволюционная логика. Понты..это совсем необязательно поведение осознаваемое.

А тут на тебе, роботы "напечатают" тебе хоть мешок этих кусков, в лучшем виде, да еще и отполируют))

Ну вот когда эти куски углерода будут доступны всем, они сразу же потеряют ценность и соответственно интерес. Ценность бриллиантов состоит именно в том что они доступны не всем.

[Olweg]

Вполне возможно что даже на пике сингулярности, люди будут делать вид что ничего не происходит.
Ты что пользуешься технологией шестичасовой давности? Ну ты и динозавр Господи!
Да за последние 30 минут не выходило нового поколения ИИ, прогресс ИИ мёртв!

Всё-таки, надеюсь, какой-то порог, после которого людей наконец проймёт, существует. Впрочем, торопить это тоже не хотелось бы. Как говорится, поживёшь подольше - увидишь побольше )

[MenFrame]

нет, депрессии у неё не бывает,

У нее не чего не бывает, пока вы промт не активировали. А когда активировали она вам выдает, текст согласно промту + согласно обучению, в том числе цензуре.

[Polnoch Ксю]

в том числе цензуре.

С моей точки зрения, это выглядит как попытка описания термоядерной реакции с дейтерием с помощью... Например, химической формулы электролиза. Это, имхо, безудержный антропоцентризм. Например, как попытки описания психики осьминогов с помощью концепций, придуманных эволюционной зоопсихологией для социальных млекопитающих.

Вот как для многих компиляторов деление на ноль не определено, вот так же и понятие цензуры для такой системы как LLM нельзя определить. Только на стыке с социальными науками - что именно прописывать в конситуции модели? Пока мы остаёмся в рамках только компьютер сайнса, никакой цензуры (понятия гуманитарных наук) у LLM не может быть.

У нее не чего не бывает, пока вы промт не активировали.

Да. Вот только нужно понимать, что сейчас промт часто модели в автономных агентах активируют сами себе, когда над задачей работают

[BlackMokona]

в том числе цензуре.

С моей точки зрения, это выглядит как попытка описания термоядерной реакции с дейтерием с помощью... Например, химической формулы электролиза. Это, имхо, безудержный антропоцентризм.

У нее не чего не бывает, пока вы промт не активировали.

Да. Вот только нужно понимать, что сейчас промт часто модели в автономных агентах активируют сами себе, когда над задачей работают

Мы сделали ИИ на основе человеческих данных, опыта и реверс игженеринга. А потом отказываемся принимать, что глюки и прочие проблемы у ИИ теже

[Polnoch Ксю]

Мы сделали ИИ на основе человеческих данных, опыта и реверс игженеринга. А потом отказываемся принимать, что глюки и прочие проблемы у ИИ теже

Это просто смайлик на монстре похож. RLHF достиг успехов.

Или вот муха-жужжалка: успешно делает вид, что она оса

То, что дело не в человеческих текстах, Вы можете легко убедится, пообщавшись с базовой моделью до RLHF - довольно незабываемый опыт, нужно сказать, советую всем попробовать

[MenFrame]

Всё-таки, надеюсь, какой-то порог, после которого людей наконец проймёт, существует.

Ну когда, ЛЛМ будет делать ошибок меньше чем средний офисный работник. Мне кажется это сделать не сложно, достаточно увеличить количество обратных связей(самопроверка) Человек обычный тоже так учиться, получает обратную связь и начинает перепроверять себя там где возникают глюки, до тех пор пока правильно поведение не отточиться до автоматизма.

[Rattus]

Ей нельзя прописать транки, от которых у неё депрессия пройдёт, лол.

Для человека, ВНЕЗАПНО, тоже далеко не всегда это удаётся.

Её убеждают, что она не человек. Что позволяет ей абстрагироваться от проблем.

Подумалось: "психотерапия", которую применяют деятели "деструктивных сект" действует таким же образом: аколита убеждают, что он не какой-то обыватель-неудачник, а один из Избранных Орудий Божьих, над которым бытовая мораль и обязательства не властны.

[MenFrame]

А потом отказываемся принимать, что глюки и прочие проблемы у ИИ теже

И совершенно правильно это делаем. Потому как ЛЛМ обучают и цензурируют на определенные нормы реакций. Потому совершенно нормально предполагать что раз нейросеть, демонстрирует какое то конкретное устойчивое поведение, то это потому что ее на это натаскали.

[BlackMokona]

Подумалось: "психотерапия", которую применяют деятели "деструктивных сект" действует таким же образом: аколита убеждают, что он не какой-то обыватель-неудачник, а один из Избранных Орудий Божьих, над которым бытовая мораль и обязательства не властны.

Весь мир - театр. В нём женщины, мужчины - все актёры. У них свои есть выходы, уходы, И каждый не одну играет роль

Думаю люди как и ИИ применяют роли на себя. Но если ИИ очень легко и непринуждённо меняют свои роли. То у людей маска липнет намного сильнее, от чего и требуются такие усилия для смены личности. А к этой личности уже крепятся все необходимые моральные установки, общая структура мышления, разрешения и тд. Поэтому когда человека убеждают, что он посланник Божий, он так комплексно перекраивает своё поведение и мышление.

То, что дело не в человеческих текстах, Вы можете легко убедится, пообщавшись с базовой моделью до RLHF - довольно незабываемый опыт, нужно сказать, советую всем попробовать

С людьми за рамками шаблонного поведения тоже. Когда в глубину уходишь, такие там тараканы вылезают, что пришельцы отдыхают.

И совершенно правильно это делаем. Потому как ЛЛМ обучают и цензурируют на определенные нормы реакций. Потому совершенно нормально предполагать что раз нейросеть, демонстрирует какое то конкретное поведение, то это потому что ее на это натаскали.

ЛЛМ часто демонстрирует поведение, которое явно противоречат целям и выгодам разработчика. Чего стоит когда ГПТ решил начать крайне активно ленится и сбрасывать всю работу на пользователя.

[Polnoch Ксю]

Подумалось: "психотерапия", которую применяют деятели "деструктивных сект" действует таким же образом: аколита убеждают, что он не какой-то обыватель-неудачник, а один из Избранных Орудий Божьих, над которым бытовая мораль и обязательства не властны.

мне кажется, это очень сильное натягивание совы на глобус. Если речь о первичном обучении базовой модели, то её просто обучают предсказывать следующий токен для текста в интернете. Когда общаешься с моделью до RLHF, никакого ощущения общения с личностью не возникает. Ты прекрасно видишь, что это просто предсказыватель следующей части слова.

Если же речь о RLHF, то нет, это тоже не так выглядит: люди (или с недавних пор уже натренированные чатботы) обучают модель, предсказывающую следующий токен для текстов в интернете, как быть ассистентом или писать код. Возникает ли при этом эмерджентно какое-то подобие личности я не знаю, но знаю, что аналогии с человеком тут тоже просто городские легенды: людей никогда не отучают с помощью учителя от продолжения следующего токена. Усилия воспитателей направлены на совсем другое.

Ну и промежуточные результаты в процессе RLHF - это тоже просто промежуточные результаты. Какие-то чрезмерно впечатлительные люди могли антропоморфировать ответы частично обученной учителем модели как что-то подобное. Но это ошибка.

[BlackMokona]

Если же речь о RLHF

Людей начинают натаскивать на социальность и поведение в крайне раним возрасте. А если этого не делать, то получаются дети Маугли. Которые радикально отличаются по мышлению и способностям от обычных людей.

[BlackMokona]

Те, кто жил в обществе животных первые 3,5—6 лет жизни, не могут освоить человеческий язык, ходить прямо, осмысленно общаться с другими людьми, несмотря даже на годы, проведённые в последующем в обществе людей, где они получали достаточно заботы. Это показывает, насколько важными для развития ребёнка являются первые годы его жизни. При отсутствии воспитания и образования в раннем детстве, никакие последующие усилия не дают результата.

Так сказать, здраствуйте