Пределы автоматизации и внедрения роботов

[Olweg]

https://t.me/theworldisnoteasy/2194?single

Все говорят, что ИИ вот-вот заменит бухгалтеров. Ведь их работа — сплошная рутина и следование правилам, идеальная задача для машины. Но одно дело — решать задачки в вакууме, и совсем другое — делать реальную работу.
И вот тут начинается самое интересное.

Эксперты компании Column Tax (специализация – автоматизация расчета налогов) создали первый в мире валидный тест TaxCalcBench, проверяющий, как с этим справятся лучшие из лучших топовые нейросети. Им дали рассчитать подоходный налог в США.

И что же показала эта проверка реальностью? Полный провал.

Точность топовых моделей — ниже 30%. Элементарные ошибки в расчетах, путаница в правилах и налоговых таблицах. Доверить им свою декларацию — прямой путь к огромным штрафам.
...

большинство существующих тестов для ИИ — это тот самый «сферический конь в вакууме». Они проверяют изолированные навыки, в то время как реальная работа — будь то бухгалтера, юриста или даже программиста — это всегда сложный клубок из правил, исключений, контекста и человеческих взаимодействий.

Как верно заметили Джек Кларк (со-основатель компании Anthropic, создавшей ИИ Claude), именно «экологически валидные» тесты —реальная проверка на прочность.
«Хватит гонять нейросети по абстракциям, давайте посмотрим, как они справятся с настоящей работой».

[BlackMokona]

Точность топовых моделей — ниже 30%. Элементарные ошибки в расчетах, путаница в правилах и налоговых таблицах. Доверить им свою декларацию — прямой путь к огромным штрафам.

Как понимаю модели не имели хороших промтов и тем более не дообучались?

[AlexDark]

Если вы делаете заменителя человека - то промпт должен быть таким: "Рассчитай мне налог", примерно так его формулируют бухгалтеру. А если вокруг этого надо плясать с бубном, рискуя сесть в тюрячку - то что-то явно идет не так.

[BlackMokona]

Если вы делаете заменителя человека - то промпт должен быть таким: "Рассчитай мне налог", примерно так его формулируют бухгалтеру. А если вокруг этого надо плясать с бубном, рискуя сесть в тюрячку - то что-то явно идет не так.

И никакого обсуждения налоговых льгот? Никаких налоговых оптимизаций? Никаких серых схем и двойной бухгалтерии? Точно бухгалтеров нанимают чисто налоги посчитать, на уровне простенького скрипта? 

[Olweg]

Я думаю, всё-таки бухгалтерия - это следующий этап, для моделей-агентов, способных долго поддерживать цельность. Просто пограничные столбы продолжают смещаться, и требования растут. Видите - от моделей уже ждут работы людей-профессионалов. Ещё пару лет назад о таком никто бы и не заикнулся.

[BlackMokona]

Я думаю, всё-таки бухгалтерия - это следующий этап, для моделей-агентов, способных долго поддерживать цельность. Просто пограничные столбы продолжают смещаться, и требования растут. Видите - от моделей уже ждут работы людей-профессионалов. Ещё пару лет назад о таком никто бы и не заикнулся.

В целом просто плюс один тест, на котором можно конкурировать и двигаться к 100%. Чтобы лучше оценивать модели

[Olweg]

Google представила Genie 3 — модель мира с впечатляющими характеристиками
https://habr.com/ru/news/934288/

https://www.youtube.com/watch?v=PDKhUknuQDg

[Olweg]

Подростки обращаются к ИИ за советом, дружбой и чтобы «не думать»
https://habr.com/ru/articles/934046/

«ИИ всегда доступен. Ему никогда не бывает скучно с вами. Он никогда не осуждает, — говорит Ганеш Наир, 18-летний подросток из Арканзаса. — Когда вы разговариваете с ИИ, вы всегда правы. Вы всегда интересны. Вас всегда эмоционально поддержат».

Раньше всё это казалось привлекательным, но этой осенью Наир отправляется в колледж и хочет отойти от использования ИИ. Наиру стало страшно после того, как его школьный друг, который полагался на «ИИ-компаньона» в разговорах по душам со своей девушкой, впоследствии заставил чат-бота написать текст о разрыве, положившем конец его двухлетним отношениям.

«Это было немного антиутопично — компьютер сгенерировал конец реальных отношений, — говорит Наир. — Мы как будто позволяем компьютерам заменить наши отношения с людьми».