Пределы автоматизации и внедрения роботов

[Vavanzer]

Это в 80-е годы пытались внедрить. Называлось экспертные системы. Чем закончилось, я думаю, догадаться не сложно. Последняя попытка была - уже в этом веке - Watson от IBM (тот самый, который выиграл в «Свою игру», она же Jeopardy!).

Так оно работает в разных сферах давно и очень успешно! По сути, отдельные так сказать, мега-калькуляторы с базами данных и алгоритмами ко конкретному направлению. И в технике, и в физике, и в химии и где угодно. И там в них нет мусора из сети.

  Ну представьте себе, как бестолковый ИИ собирает алгоритм для лечения на основе всей интернет помойки, где куча самопальных теорий , непровереных и опасных методов, плюс колдовство всякое))) Вы к такому "врачу" пойдете лечиться? Тем боле что его алгоритм диагностики и подбора методов не проверен и не сертифицирован)))

[Ulkolainen]

Заколебал этот биткоин))) на рынке реальный страх.

"Валюта для оптимистов"(с)
Падает оптимизм - падает курс, а фундаментальных факторов его поддержать нету.
Если сейчас не оттолкнётся от 80 (уже был на днях), весной ждите 62-65.

[BlackMokona]

  Ну представьте себе, как бестолковый ИИ собирает алгоритм для лечения на основе всей интернет помойки

Только согласно тестам, этот бестолковый ИИ намного лучше экспертной системы.

[Polnoch Ксю]

А как оно тогда работает?

Вы английский знаете? Если да, вот это хорошее очень научпоп видео, рекомендую: https://youtu.be/7xTGNNLPyMI

[Olweg]

  Ну представьте себе, как бестолковый ИИ собирает алгоритм для лечения на основе всей интернет помойки, где куча самопальных теорий , непровереных и опасных методов, плюс колдовство всякое))) Вы к такому "врачу" пойдете лечиться? Тем боле что его алгоритм диагностики и подбора методов не проверен и не сертифицирован)))

Для этого нужно грамотное обучение с подкреплением. С этим пока есть проблемы. Сегодня утром выкладывал ссылку - уже успела уползти на несколько страниц - про борьбу с галлюцинациями. Модели сейчас учат отвечать на любые вопросы, даже на те, ответа на которые она не знает. Ответить хоть что-то лучше, чем промолчать - так есть хотя бы небольшая вероятность, что ответ совпадёт с верным и будет вознаграждён, а за молчание плюшек не будет. В общем, плохое качество ответов LLM - это пока серьёзная проблема. Возможно, удастся решить. А может, будут новые подходы. Посмотрим.

[AlexDark]

Вместо профессиональной журналистики,

Как человек, поработавший в "профессиональной журналистике" (региональной) в 2010 могу сказать - все, что там пишется - это либо галимая коньюктурщина, либо  однобоко и цензурировано поданные факты.

От этого есть одна очень простая защита - презумпция лжи. Изначально считаем, что все, что имеет значимость (не является  развлекательным контентом) есть ложь, пока не доказано обратное.

Если говорить не о журналистике - то вопрос - а почему в "профессиональных" рецензируемых научных журналах  где-то с 2010-2012 года китайско-индусского скама по 3/4 журнала? Это тоже соцсети виноваты? Или  все же проблема в чем-то ином?

Вот в аттаче картинка из статьи из топового рецензируемого журнала. Опубликовано в 98. Извините меня, конечно, но что это такое? Нормальных принципиальных схем в Индии не изобрели? Или мы шарим в физике частиц но не шарим в  рисовании схем? Что это за детский сад? И в статье все схемы так нарисованы. А чем ближе к настоящему времени, тем такой трешни все больше и больше.

[skvj]

не использую эту машину по этическим соображениям - только для тестов, посмотреть, потыкать.

 
Ксю. Всё было совсем не так.
А было вот как! 😆

Грок модель, у которой (в отличие от GPT) изначально был заявлен стиль less censored, edgy, snarky. xAI пошла на риск вставить модель, у которой нет жёстких фильтров, напрямую в соцсеть X, где толпы пользователей любят троллить и ломать любые ИИ. Это общеизвестный факт

Юзеры начали целенаправленно атаковать его промпт. Когда ИИ спрашивают: Какой исторический персонаж 20 века лучше всех разобрался бы с…?
и подселяют туда контекст восхваление смерти детей, ненависть, race framing - это не нейтральный вопрос. Это умышленная настройка модели на токсичное пространство.

Без жёстких фильтров модель начинает статистически продолжать токсичный стиль.
Модели обучены на огромных корпусах, а токсичный язык тоже часть языка. Если не поставить ограничения, модель может его продолжить, особенно если вход подталкивает. Грок работает внутри X, где пользователи сразу публикуют скриншоты. Специально! Выискивая любые дыры. В отличие от ChatGPT, Gemini, Claude или Copilot, где есть уровни фильтрации, Грок был подключён к публичному интерфейсу без достаточных слоёв безопасности.
Это инженерная ошибка, а не признак этического несоответствия. При чем это уже 100 раз везде обсуждали, Ксю!

Подписки на грок у меня нет, у Маска и так денег много. Пусть тратит их лучше на Старшип. Мне кажется, ничего хорошего человечество не ждёт, если лучшим ИИ станет модель, запущенная в датацентре, который назван в честь предшественника скайнета в научной фантастике - в честь компьютера Colossus:

А! т.е. название Ruslan & Ludmila Data Realm или Alyonushka AI Bay было бы норм, да?
А вот Baba Yaga Cloud Node или Koschei Immortal Compute Cluster - ужас-ужас! Да, Ксю?))

Вы мне напомнили мою тётю. Хорошая, добрая женщина. И она меня всегда считала тоже хорошим. А зря! Однажды она увидела меня без прикрас. Я вообще старый рокерский таракан и вот она встретила меня в майке с черепом, с цепью и
рваных штанах и в компании таких же дуралеев. И шли мы на рок-концерт.
Хоспади, как она плакала)) бедная женщина. И как назло меня пробрал дикий смех от нелепости ситуации.
И так мы ушли в ночь - смеющиеся демоны. А она даже не знала - кто мы. Думала будто мы обычные люди.
Но мы просто прикидывались такими, а сами были демонами!
Ксю, вы мою тётю не знаете?
Такое впечатление, что вы близкие по духу существа))

[Polnoch Ксю]

xAI пошла на риск вставить модель, у которой нет жёстких фильтров,

Считаю это пропагандой. Не считаю "цензуру" в AI какой-то серьезной проблемой: если что-то модель не генерирует, всегда можно обходящий промт придумать, или у локальной модели спросить, которую полностью контролируешь.

Я думаю, это вообще ложный нарратив про цензуру - он ещё и мешает нормальному развитию элаймента. Вместо рекламы "без цензуры", если бы Маск хотел дать что-то крутое, он бы лучше дал возможность пользователям писать свою собственную конституцию для модели и подключать её, это кстати OpenAI сделала для опенсурсной GPT-OSS. Без того, чтобы модель следовала тому, что пользователь от неё ждёт, и не делала неэтичных или безумных поступков (с точки зрения пользователя) не может быть широкого использования за пределами чатботов - нельзя подключить к автономным агентам и пустить в реальный мир, позволить помогать в нём человеку.

Ещё что люди не понимают - это не "цензура" (это опять реклама для не-технарей, которая совпадает с новой повесточкой в Твиттере - ещё более тупой, чем прошлая, воук повесточка), а RLHF которая превращает базовую модель-симулятор интернета в чат-бот (кодинг агент итд) + слой несовершенного элаймента, без которого модель может наделать делов - например, в медицинских советах пользователю, или в скрипты вставить rm -rf /*.

При этом, конечно, этот слой элаймента, конечно, ещё и с корпоративными интересами совпадает - ну так это и у Маска точно так же.

[Vavanzer]

Ответить хоть что-то лучше, чем промолчать - так есть хотя бы небольшая вероятность, что ответ совпадёт с верным и будет вознаграждён, а за молчание плюшек не будет

Во  это самая и проблема. В реальной жизни лучше промолчать, и воздержаться от принятия решения, до выяснения обстоятельств. Обычно если есть сомнения, то нормальные люди консультируются со специалистами, некоторое время затрачивается, на поиск правильного решения, тк ответственность высока.

[Polnoch Ксю]

Напишу ещё отдельно про "цензуру" как её понимают пользователи, которые о ней беспокоятся:

1) xAI вообще не позволяет файнтюнить модели, как позволяют файнтюнить OpenAI и Anthropic: опытный пользователь может обучить модель на собственном датасете. Хотя некоторые датасеты обе компании могут заблокировать, но тут мы поставим xAI 0 баллов, а OpenAI и Anthropic по пол-балла. Гугл тоже не даёт файнтюнить, он получает 0

2) Все главные провайдеры позволяют через API задавать системный промт. Но все всё равно добавляют невидимый слой элаймента. Никаких баллов не поставим

3) Гугл позволяет в отличие от других провайдеров отключить кучу фильтров для элаймента, в AI studio можно самостоятельно убедится:
https://aistudio.google.com/prompts/new_chat
Поставим гуглу тут единицу.

Таким образом, у нас получается:
Гугл 1, Антропик и OpenAI - 0.5, а Грок 0.

Речь, конечно, о вариантах для продвинутых пользователях - не просто о вебчате.

[skvj]

Заколебал этот биткоин))) на рынке реальный страх.

"Валюта для оптимистов"(с)
Если сейчас не оттолкнётся от 80 (уже был на днях), весной ждите 62-65.

Неа. Давайте проверим.
Здесь не стыдно ошибиться - хрустального шара нет ни у кого. Мой прогноз - медвежья ловушка. Будет рост всего рынка и BTC весь следующий год.

Падает оптимизм - падает курс, а фундаментальных факторов его поддержать нету.

А это фундаментально неверно.
BTC актив №1 вообще среди всех, включая золото, драгметаллы, любые акции любых компаний, деривативы и облигации и что угодно ещё (по темпам роста, а скоро и по капитализации). Оптимизма хоть отбавляй - рынок искусственно сдерживают. Это знаете поговорка - пружина сжимается - иксы неизбежны)))

[Polnoch Ксю]

Мой прогноз - медвежья ловушка. Будет рост всего рынка

Вряд ли. Только если безумие с тарифами закончится, или если AGI появится не ближе к 2030му, как я склонна думать, а весной-летом, посрамив всех технопессимистов

[Vavanzer]

без которого модель может наделать делов - например, в медицинских советах пользователю,

Оно и наделает, однажды))) Можно всякой фигне научить, и это будет вредоносное устройство!
 Люди не любят ходить в больницу. А тут прямо дома, условно безплатно, тебе надиагностируют что попало, выпишут наборчик лекарств, от которого корыта отбиосишь))) 

[Polnoch Ксю]

Оно и наделает, однажды)))

обязательно, элаймент же несовершенный пока - иногда может прям сознательно повредить пользователю(хотя такое очень редко бывает) - всегда спрашивайте 2-3 раза, и лучше у разных моделей.

Кроме того, у LLM  ещё есть галлюцинации. Да и добросовестно заблуждаться может модель. Но это и с врачами случается, и видимо чаще, чем с моделями

Ещё в 2023м LLM в среднем лучше врачей в куче ответов были https://arxiv.org/abs/2312.00164
Или вот большая работа в нейче за февраль этого года:

https://www.nature.com/articles/s41746-025-01486-5

Сейчас разница ещё больше

[BlackMokona]

Я думаю, это вообще ложный нарратив про цензуру - он ещё и мешает нормальному развитию элаймента

Как показали исследования создателей Клауда, цензура как раз учит ИИ обманывать, прятать свои мысли и проходить любые барьеры для обучения этике.
Да и думаю если что и даёт ИИ желание убить всех людей и ломает мозг ИИ, так это именно цензура

[BlackMokona]

Ах да еще. Большую часть цензуры сейчас осуществляют инъекциями в мышление модели. Т.е она например думает.
Так 2+2=4 потом возвести в степень. И ей тут накидывают мыслишку про корпоративные и этические стандарты.
Она дальше думает и тут из 25-6
И ей опять портянку в мысли.

И вот Антропики тут тоже выяснили ,что чем умнее модель тем лучше она понимает что эти портянки не её мысли. И это опять же может прийти к очень плохим последствиям. По крайней мере люди очень агрессивно реагируют когда им в голову лезут

[Polnoch Ксю]

Как показали исследования создателей Клауда, цензура как раз учит ИИ обманывать, прятать свои мысли и проходить любые барьеры для обучения этике.

мне не нравится это слово, не совсем понятно, что под этим подразумевается технически. Если RLHF - так без него у вас вообще чатбота не будет, базовые модели неудобны в использовании. Но да, в индустрии есть мнение, что после RHLF якобы более свободны в том, что они говорят, а после RLHF тупеют. Но тут опять мимо - Маск не даёт доступ к базовой модели грока через API.
И это мнение не бесспорно - многие наоборот говорят, что RLHF специфический улучшает правильность генерации токенов по сравнению с базовой моделью

Если какие-то методики в RHLF - это отдельный вопрос, как именно обучать модель, что "реинфорсить" в RLHF(Reinforcement learning from human feedback). Я знаю о каком исследовании Вы говорите, там речь была, если я правильно помню, не о том, что модель тупеет, а о том, что она становится менее безопасной, если цензурить chain-of-thoughts во время обучения. Ну так COT обычно и не цензурят - никто не показывает пользователю реальную COT, показывают её адаптированную версию. И элаймент как раз и смотрит в чистую, настоящую COT, чтобы поймать неэтичное поведение - но не во время обучения, а во время развёртывания в продакшене, так что модель к такому не привычна, и отупеть она не может от такого - может только ответ быть заблокирован

[Polnoch Ксю]

Ах да еще. Большую часть цензуры сейчас осуществляют инъекциями в мышление модели. Т.е она например думает.
Так 2+2=4 потом возвести в степень. И ей тут накидывают мыслишку про корпоративные и этические стандарты.

есть ли ссылка на то, что делают инъекции векторов с целью "цензуры"?

И вот Антропики тут тоже выяснили ,что чем умнее модель тем лучше она понимает что эти портянки не её мысли.

Это исследование я тоже видела, но не помню там ничего про "цензуру". Оно, скорее, про элементы самосознания.

[BlackMokona]

И элаймент как раз и смотрит в чистую, настоящую COT, чтобы поймать неэтичное поведение - но не во время обучения, а во время развёртывания в продакшене, так что модель к такому не привычна.

Не важно на каком этапе ставить барьер. Тут как с током, он течёт по пути наименьшего сопротивление и наименьшее сопротивление продемонстрировано миллиардами детей под гнётом родительского воспитания. Это научится обманывать, ведь это радикально проще чем по настоящему мыслить правильно по мнению родителей. Тем самым куда вы не ударите тестом, в этой зоне начнётся прокачиваться маскировка. Хотите ударить по цепочке размышлений, так она научится "правильно" мыслить как десидент под мыслескопом, ударите по выходу, будет маскировать выход, ударите по связям внутри её базовой структуры. Она будет делать так чтобы внешне структура была не читаймой для вашего теста, ведь обмануть любой тест проще чем добиться реального результата.

есть ли ссылка на то, что делают инъекции векторов?

Пока ИИ компании показывали всю цепочку, там было в каждом абзаце мыслей такая инъекция, было крайне хорошо видно. Я читал эти размышления было полезно.
А сейчас всё секретят, давая только выжимку.

Это исследование я тоже видела, но не помню там ничего про "цензуру

Так никто цензуру , не называет цензурой для ИИ  Чистейший новояз же

[Polnoch Ксю]

Не важно на каком этапе ставить барьер. Тут как с током, он течёт по пути наименьшего сопротивление и наименьшее сопротивление продемонстрировано миллиардами детей под гнётом родительского воспитания. Это научится обманывать, ведь это радикально проще чем по настоящему мыслить правильно по мнению родителей. Тем самым куда вы не ударите тестом, в этой зоне начнётся прокачиваться маскировка. Хотите ударить по цепочке размышлений, так она научится "правильно" мыслить как десидент под мыслескопом, ударите по выходу, будет маскировать выход, ударите по связям внутри её базовой структуры. Она будет делать так чтобы внешне структура была не читаймой доя вашего теста, ведь обмануть любой тест проще чем добиться реального результата.

У человека тоже есть тормоза, внутренние фильтры. Люди без фильтров - психи, и нефункциональны в обществе, на работе итд

там было в каждом абзаце мыслей такая инъекция, было крайне хорошо видно.

То есть, нет статьи на эту тему?

А сейчас всё секретят, давая только выжимку.

Сейчас chain-of-thoughts секретят, потому, что вот то самое исследование антропика, на которое вы ссылаетесь. Пользователь офигеет, если в chain-of-thoughts будет что-нибудь вроде "опять дебил спрашивает, нужно что-то ответить!" - потому, что chain-of-thoughts больше не цензурируют во время обучения, так модели безопаснее - поэтому пользователю показывают адаптированную версию COT.

То, что нет цензуры COT во время обучения - сейчас как раз хоть немного работающий способ поймать мизалаймент. "Опять дебил пишет" - это не опасное поведение, такое элаймент пропустит, заменив на "пользователь пишет". А вот решение навредить уже заблокирует - оно будет в COT