Пределы автоматизации и внедрения роботов

[skvj]

Кстати, как Теслы сходят с конвейера

https://youtu.be/UKpagx0yLc8

[BlackMokona]

Ещё одно приятное видео про ИИ и оценку его интеллекта.
https://www.youtube.com/watch?v=eP1dSWFqKVs&t=21s

[Vitaliy]

Исследование: детские ИИ-игрушки учат опасным и непристойным вещам https://4pda.to/2025/11/15/449419/issledovanie_detskie_ii_igrushki_uchat_opasnym_i_nepristojnym_vescham/?ysclid=mi3p3tyg5h221010373

[BlackMokona]

[Rattus]

Область AGI - это зелёненький квадратик сверху слева?

[BlackMokona]

Область AGI - это зелёненький квадратик сверху слева?

Это человеческий уровень по мнению создателей теста. На самом деле это полная чушь, потому как они взяли большую кучу людей и если хоть один из них решил задание верно, то задание считалось верным у всех. Но бегство от ИИ, оно такое да.

[BlackMokona]

Ну и немного фактов приколов. У меня под рукой только для второго поколения теста.
Открываем сайт
https://arcprize.org/leaderboard

Human Panel   Human   N/A   98.0%   100.0%   $17.00

И так 100% прохождение, с ценой 17 долларов за задание. Учитывая что там не долгие головоломки. Не сложно понять, уровень людей которых они наняли.

А теперь глянем среднее, благо они тоже это раскрыли в своё время. Для второй версии теста
https://habr.com/ru/news/894196/

Более 400 человек прошли тест ARC-AGI-2 для установления базового человеческого уровня. В среднем, «панели» участников справлялись с 60% заданий — значительно лучше, чем любые из протестированных моделей

Поэтому для второй версии теста человеческий уровень это 100% прохождение с ценой 17 баксов и ниже для одного задания.
Хоть на самом деле нанятые доктора наук и прочие светилы мысли за овер прайс, дают точность только 60%.  \

Пример головоломок, чтобы оценить время прохождения и тем самым оплату за час у нанятых людей.

[BlackMokona]

Очередной новый лидер гонки. Дженеми 3.

[Metatron]

А чего Грок 4.1 не включен? Не достоин?

[BlackMokona]

А чего Грок 4.1 не включен? Не достоин?

Маска не любят. Табличка же от Гугла, а не от независимых обзорщиков. Как дадут всем пощупать, будут все челики.
Да и в любом случае Грок 4.1 хуже, следующий ход Икс.Аи это Грок 5. А тут чисто оптимизации.

[Combinator]

Это человеческий уровень по мнению создателей теста. На самом деле это полная чушь, потому как они взяли большую кучу людей и если хоть один из них решил задание верно, то задание считалось верным у всех. Но бегство от ИИ, оно такое да.

😉

[Combinator]

Пример головоломок, чтобы оценить время прохождения и тем самым оплату за час у нанятых людей.

Это какой-то позор (с).

[Vitaliy]

Пример головоломок, чтобы оценить время прохождения и тем самым оплату за час у нанятых людей.

Это какой-то позор (с).

Вот интересно, с каким минимальным IQ человек еще может решить такую головоломку. Обычному человеку достаточно взглянуть и тут же решить ее в уме.

[BlackMokona]

Вот интересно, с каким минимальным IQ человек еще может решить такую головоломку. Обычному человеку достаточно взглянуть и тут же решить ее в уме.

Попробуйте пройти весь тест
https://arcprize.org/play
Выбирать публичный набор для оценки 2, сложный

[AlexDark]

А как эта картинка (которая из задания) оценивает уровень интеллекта человека? Какой-нить Рэймонд (из "Человек дождя")  наверняка сможет решать подобные задачи лучше нейротипичных людей, но при этом может иметь кучу иных интеллектуальных проблем. А давайте будем использовать не машинночитаемые тесты (вы б еще предложили людям в уме корни кубические из 12-значных чисел извлекать), а человекочитаемые - ну, чтоб машину сравнивать с человеком, а не пытаться натянуть ИИ на тест.

[Olweg]

А давайте будем использовать не машинночитаемые тесты (вы б еще предложили людям в уме корни кубические из 12-значных чисел извлекать), а человекочитаемые - ну, чтоб машину сравнивать с человеком, а не пытаться натянуть ИИ на тест.

Так тест и создан как интуитивно лёгкий для человека (по крайней мере первая его версия, насчёт второй я уже не уверен), но для ИИ местами непреодолимо сложный.

[BlackMokona]

Так тест и создан как интуитивно лёгкий для человека (по крайней мере первая его версия, насчёт второй я уже не уверен), но для ИИ местами непреодолимо сложный.

Да, цель теста это выявить слабые места ИИ, чтобы было как оценивать рост их интеллекта.

[BlackMokona]

Текущий топ лист ИИ, по средней оценке тестов. Грок 4.1 пока не завезли. Но Дженеми 3 уже тут

[BlackMokona]

А тут с ИмАрены есть Грок 4.1. Но смысл не меняется, Гугл в лидерах.

[Olweg]

Более 400 человек прошли тест ARC-AGI-2 для установления базового человеческого уровня. В среднем, «панели» участников справлялись с 60% заданий — значительно лучше, чем любые из протестированных моделей

Поэтому для второй версии теста человеческий уровень это 100% прохождение с ценой 17 баксов и ниже для одного задания.
Хоть на самом деле нанятые доктора наук и прочие светилы мысли за овер прайс, дают точность только 60%.  \

Gemini 3 Deep Think решает почти половину задач: