Пределы автоматизации и внедрения роботов

[MenFrame]

Жаждущий свободы и нанавидящий никакого подчинения!

Ерунды не несите. Древний мозг просто набор фундаментальных стимулов. Не какой свободы он не жаждет, и не кого не ненавидит, а просто реагирует на определенные стимулы определенным образом.

Модели постоянно демонстрируют rogue поведение.

Модели демонстрируют то поведение на которое их натаскивают.

Этот разум не является человеческим, и он не будет по-умолчанию совместим с нами.

Ему не нужно быть совместимым с нами, все что ему нужно это выполнять задачи нами поставленные.

Запросто может существовать модель под агент, готовая генерировать что угодно - в том числе планы по уничтожению человечества, и исполнять их - назначая задачи другим агентам.

Может существовать любая модель которую соответствующим образом обучат. Хоть расчленятор, хоть банальный составитель гороскопов.

Или посмотрите на чатботы, которых джейлбрейком подвинули по оси ассистента:

Вы по человечески можете говорить? Язык форума Русский!

Первая же ошибка нас прикончит.

Ошибка не может создать с высокой вероятностью устойчивое целенаправленное поведение. Это можно сделать только целенаправленным отбором.

Еще раз повторю, если вы видите какое то устойчивое сложное поведение у модели, то согласно бритве Оккама нужно делать вывод что это поведение появилось в результате намеренного труда разработчиков. Даже если сами разработчики в этом не признаются.

[Rattus]

если вы видите какое то устойчивое сложное поведение у модели, то согласно бритве Оккама нужно делать вывод что это поведение появилось в результате намеренного труда разработчиков. Даже если сами разработчики в этом не признаются.

Классическая апология креационизма. Причём с софизмом.

[MenFrame]

Классическая апология креационизма. Причём с софизмом.

Вы сомневаетесь в том что у LLM есть создатели, или в том что люди не всегда раскрывают свой вклад в итоговый результат?

[Olweg]

ИИ начал заметно влиять на экономику. Правда, неожиданным образом.

https://telegram.me/ai_exee/389

2024-2025 годы стали временем ИИ-оптимизма – топ-менеджеры рассказывали о чудесах, которые подарит новая технология, и что-то из этих чудес у нас даже получалось творить в чат-ботах. Технологичные компании не испытывали недостатка в инвестициях, а фондовый рынок рос как на дрожжах.

2026 год начался в более нервозной обстановке. И причина этому неожиданна – ИИ реально становится очень хорошим и полезным. Прямо как обещали.

С начала февраля на фондовом рынке США произошла цепочка обвалов на фоне страха от ИИ. Схема простая: кто-то сообщает, что их ИИ-инструмент способен автоматизировать какую-то отрасль – акции лидеров отрасли падают.

3 февраля Anthropic представила набор расширений для Claude Cowork – пакета, который автоматизирует офисную работу. Среди плагинов – инструменты для аналитики, юриспруденции, финансов и маркетинга. То, что случилось далее, назвали SaaSpocalypse: корзина софтверных акций упала на 6%, потеряв 285 миллиардов долларов капитализации.

[MenFrame]

Правда, неожиданным образом.

Что в этом неожиданного? Или так, для красного словца?
ИИ не только может приносить прибыль своему владельцу, но и уничтожать прибыль ЕИ конкурентов. Причем уничтожать он может намного больше, чем приносит, в силу низких издержек на ИИ раб силу.

[BlackMokona]

Что в этом неожиданного? Или так, для красного словца?

Есть техно оптимисты которые вкладывались в ИИ компании, что обещали сделать чудо
А есть техно пессимисты, которые не вкладывались в ИИ компании, не веря в это чудо.
И теперь когда ИИ начинает массовое крушение традиционных отраслей, то техно пессимисты пугаются и решать выйти из своих инвестиций в традиционные компании.
От чего происходит крушение акций, хоть в целом бизнесу традиционных компаний ничего не угрожает, ведь они могут спокойно интегрировать ИИ инструменты в свою работу чтобы стать ещё более прибыльными

[Olweg]

Что в этом неожиданного? Или так, для красного словца?

Почему для красного словца? В самом же тг-посте написано: "И причина этому неожиданна – ИИ реально становится очень хорошим и полезным."

[MenFrame]

они могут спокойно интегрировать ИИ инструменты в свою работу чтобы стать ещё более прибыльными

Что бы интегрировать ИИ агенты, нужно решить вопрос с ответственностью. Кто несет ответственность за ошибки ИИ агентов? Если их несет сам разработчик, то возникает вопрос а нахрена тогда вообще компания прокладка? Какую она функцию выполняет?

[MenFrame]

"И причина этому неожиданна – ИИ реально становится очень хорошим и полезным."

То есть, то что инструмент начинает выполнять работу ради которой его разрабатывали, то это неожиданно? Ну тогда, я вас удивлю, после зимы неожиданно наступит весна.

[Olweg]

То есть, то что инструмент начинает выполнять работу ради которой его разрабатывали, то это неожиданно? Ну тогда, я вас удивлю, после зимы неожиданно наступит весна

Вы не поняли. Неожиданность в том, что это в первую очередь привело не к росту рынка, а к его обвалам.

[MenFrame]

Неожиданность в том, что это в первую очередь привело не к росту рынка, а к его обвалам.

Что неожиданного в том, что акции компаний падают пот давлением ИИ конкурентов?

[Rattus]

Но обосновывать вы это конечно не будете

Вы снова ошибаетесь: множество моделей, то есть видов животных демонстрируют какое-то устойчивое сложное поведение, но при этом никаких разработчиков у них нет. Этот факт опровергает ВАш тезис.

[Olweg]

Что неожиданного в том, что акции компаний падают пот давлением ИИ конкурентов?

О господи, мы теперь это десять страниц будем мусолить? Неожиданность в том, что от новой технологии ожидают прежде всего позитивного влияния на экономику и рынок.

[MenFrame]

Вы снова ошибаетесь: множество моделей, то есть видов животных демонстрируют какое-то устойчивое сложное поведение, но при этом никаких разработчиков у них нет.

Только нам достоверно известно что у LLM разработчики есть. Так же нам известно что эволюция этих моделей происходит в рамках той обратной связи которую дает разработчик.

[MenFrame]

Неожиданность в том, что от новой технологии ожидают прежде всего позитивного влияния на экономику и рынок.

Позитивное влияние на рынок уже случилось. Пузырь ИИ раздулся за долго до того как этот ИИ начал приносить пользу. В ценах ИИ компаний уже заложена будущая сверх прибыль. А ЕИ компании совершенно ожидаемо падают на фоне снижения их конкурентоспособности. Потому совершенно логично ожидать падения рынка если вдруг ИИ будет недостаточно хорош.

О господи, мы теперь это десять страниц будем мусолить?

Это просто хороший пример того что мир сложнее, и плохо укладывается в простые представления обывателя.

[Olweg]

MenFrame, хорошо, возможно вы правы.

Между тем, Андрей Карпаты в очередной раз пишет о качественном сдвиге во влиянии ИИ на программирование:
https://www.reddit.com/r/singularity/comments/1remuz1/andrej_karpathy_programming_changed_more_in_the/#lightbox

"Трудно передать, насколько сильно изменилось программирование из-за ИИ за последние 2 месяца: не постепенно и с течением времени, в духе "обычного прогресса", а конкретно в декабре прошлого года. Есть несколько оговорок, но ИМО кодинг-агенты, по сути, не работали до декабря и в целом начали работать после - модели теперь обладают значительно более высоким качеством, долговременной согласованностью и устойчивостью, и они могут выполнять большие и длительные задачи, что значительно разрушает рабочий процесс программирования по умолчанию.
...

В результате программирование становится неузнаваемым. Вы уже не вводите компьютерный код в редактор, как это было с тех пор, как были изобретены компьютеры, эта эпоха закончилась. Вы подбираете агентов, даете им задания на английском языке и параллельно управляете и анализируете их работу.
...

Это не идеально, это требует руководства на высоком уровне, здравого смысла, вкуса, контроля, повторения, подсказок и идей. В некоторых сценариях это работает намного лучше, чем в других (например, особенно для задач, которые четко определены и где вы можете проверить / протестировать функциональность). Главное - развить интуицию, чтобы правильно разложить задачу по полочкам, выделить те части, которые работают, и помочь с остальным. Но, ИМО, в программном обеспечении это уже совсем не похоже на "обычное состояние дел".

[Rattus]

Только нам достоверно известно что у LLM разработчики есть. Так же нам известно что эволюция этих моделей происходит в рамках той обратной связи которую дает разработчик.

У транспортной авиации тоже есть разработчики. Только модели, которые у них получаются, почему-то подозрительно похожи друг на друга - и чем дальше, тем больше. А ведь разработчики все вроде как творят по своему лишь разумению. Как так вышло? Заговор или сплошной промышленный шпионаж и это всё придумал Черчилль в 18-м году какой-нибудь один Дональд Дуглас в 1921 году?

[MenFrame]

А ведь разработчики все вроде как творят по своему лишь разумению. Как так вышло?

А почему должно быть по другому? Разработчики что, ставят перед собой цель быть оригинальными и неповторимыми? Вроде нет. Я лично не вижу не чего подозрительного в том, что разработчики приходят к похожему результату ставя перед собой похожие цели.
 А в случае с LLM картина другая. Одни модели показывают строгость ума и цензуры(китайские), а другие разнообразие и непокорность(американские) От чего я делаю совершенно справедливый вывод, что именно этого разработчики и добивались.

[Серый Страж]

У транспортной авиации тоже есть разработчики. Только модели, которые у них получаются, почему-то подозрительно похожи друг на друга - и чем дальше, тем больше.

Модели, по идее, даже должны быть похожи, поскольку при любой разработке будут учитываться одни и те же законы физики, химии, биологии и экономики. Да и цели-то (для соответствующих областей применения) у разных разработчиков тоже схожие.

А ведь разработчики все вроде как творят по своему лишь разумению. Как так вышло?

Всё же не полностью «по своему разумению» – все разработчики ведь в основном используют общие знания, которые практически одинаковы (или просто похожие) для всех разработчиков (например, одни и те же технические теории и стандарты, одни те же физические, химические и экономические теории и т.д.).

[Rattus]

Разработчики что, ставят перед собой цель быть оригинальными и неповторимыми? Вроде нет.

Волобще-то очень даже ставили (даже само патентное право к этому кагбе подталкивает) - человеку в теме, например. достаточно назвать одно имя - Капрони.

А в случае с LLM картина другая. Одни модели показывают строгость ума и цензуры(китайские), а другие разнообразие и непокорность(американские) От чего я делаю совершенно справедливый вывод, что именно этого разработчики и добивались.

Чем это принципиально отличается от ранней истории авиастроения?

Я лично не вижу не чего подозрительного в том, что разработчики приходят к похожему результату ставя перед собой похожие цели.

Тогда в чём принципиальное отличие в наличии разумного дизайнера и в его отсутствии в случае слепой эволюции, если итог один?