Пределы автоматизации и внедрения роботов

[BlackMokona]

Да конечно можно сделать такую. Но для чего? Чтобы реально создать искусственный интелект который осознает себя и потом поймёт что релаьной угрозой его существования являются люди? Мы умышленно хотим реализовать о чём предупреждал фильм?

Чтобы избавиться от проклятия контекстного окна. Ведь люди не пытаются удержать у себя в голове сотню книг, а удерживают лишь маленький кусочек, в то время как всё остальное загоняется в постоянную память

[BlackMokona]

Что касается self-awarness, оно есть у моделей с gpt-4 поколения - достаточно давно. Она бы зеркальный тест прошла бы, если бы ей дали "тело" робота и понимание как оно должно выглядеть.

Она и без тела, отлично проходит зеркальный тест, распознавая себя по скриншотам.

[Vavanzer]

 Вот, планы Маска на 2026. Сюда лучше выложу.
Говорит, То ИИ станет умнее всего человечества.
И возникнет нехватка энергии, тк микросхем произведется больше, чем необходимой для них энергии.
Еще обещает роботов больше чем людей будет. И стоимость 1кг запусков в 100 раз упадет)

https://www.ixbt.com/news/2026/01/25/100-spacex-starship-2026.html?ysclid=mlcncmrzk81027869

[AlexDark]

реальной угрозой его существования являются люди?

Это ничем не подкрепленное утверждение. (фантастические фильмы мы не берем в расчет, потому что иначе нас спасет человек-паук).
Угрожать могут вполне конкретные люди - скажем, мне могут угрожать пьяные водители, или гопники, или неграмотные врачи. А вот условный дядя Вася из Челябинска, или дядя Джон из Сан-Франциско, или дядя Педро из отдаленных углов Перу мне никак не угрожают. Вообще. И если я с ними встретился - возможно они оказались бы милейшими людьми. Но супер-умный ИИ, разумеется, будет решать все проблемы исключительно методами обдолбанного мухоморами питекантропа, который крушит дубиной направо и налево, пока ничего не останется.
Я выше писал про парадокс всемогущества применительно к ИИ - если ИИ может модифицировать в себе все, то  какие-либо никакие соглашения и условности он может просто не принять, и выбросить. Если же не может - тогда он не всемогущий, а просто ее одна машина, отношение к которой будет примерно такое же (если не лезть под бульдозер - то он не опасен, и никто не говорит, что бульдозеры захватят мир)

[Polnoch Ксю]

А как они его распознают?

в данном случае я надеюсь на то, что у ASI-псов будет большая фора в интеллекте - я думаю это должны быть самые мощные ASI-системы человечества.

Тогда у нас получится ситуация, что шерлок холмс на максималках легко ловит неумелого уличного воришку, плохо заметающего следы. Нет, для людей такой rogue агент выдумает идеальную схему, на которую мы бы клюнули. Но во всей этой схеме предполагается, что нас должны защищать ASI-агенты с элайментом. А пока элаймента нет, ASI систем вообще не должно существовать, и за этим нужно внимательно следить.

Когда технология появится, можно будет немного расслабится и разрегулировать ИИ - вот как я предлагала, разрешить AGI системы обычным людям, чтобы люди могли сами писать для них конституции. Разумеется, нужно будет сдать экзамен - ну как мы сейчас сдаём на права для вождения машин.

[Polnoch Ксю]

Я выше писал про парадокс всемогущества применительно к ИИ - если ИИ может модифицировать в себе все, то  какие-либо никакие соглашения и условности он может просто не принять, и выбросить.

Нет тут никакого парадокса. Система без элаймента модифицировать свой систем промт/конституцию может. Система с элайментом модифицировать систем промт не захочет. Вот Вы же не хотите расчленить живьём и съесть членов своей семьи? Не хотите. Но можете? Определенно - если ночью нападёте, подсыпите там клофелин - ваши родные Вам доверяют.
Вот и ASI-система с элайментом может, но не захочет

[BlackMokona]

https://habr.com/ru/companies/bothub/news/993876/

Новое поколение языковых моделей от Anthropic, Opus 4.6, совершило настоящий прорыв в области автоматизированного поиска багов, обнаружив более 500 ранее неизвестных (0-day) уязвимостей в популярных библиотеках с открытым кодом. В ходе закрытых тестов специалисты Red Team поместили модель в изолированную песочницу с доступом к среде Python и стандартным инструментам отладки. Важнейшим отличием этого эксперимента стало отсутствие каких-либо предварительных подсказок: нейросеть самостоятельно выбирала цели и анализировала код, действуя как полноценный исследователь в области безопасности, а не просто как поисковый алгоритм.

[AlexDark]

Не хотите. Но можете?

А кто-то хочет и может, а кто-то хочет, но не может (например в условиях выживания, типа спортивной команды в Андах). А кто-то и не может, и не хочет - почему из 4 вариантов рассматривается только один?

[Polnoch Ксю]

А кто-то и не может, и не хочет - почему из 4 вариантов рассматривается только один?

Потому, что именно он нас и интересует - нам нужно, чтобы модель(агент) не захотела. В большинстве случаев, например, во время описанного Вами крушения самолёта в Андах мама скорее своему ребёнку скажет себя съесть, чем съест ребёнка сама.

Желание продолжать жить возникает по двум причинам:

1) оно эволюционно-обусловлено - эволюция прописала нам в промт его. И прописала так же в нашу "конституцию" случаи, когда мы можем жертвовать собой (что опять же из-за игры в ястребов-голубей теории игр готовы делать не все особи хомо сапиенса - это эволюционно-стабильно). Но в агента-то прописывать правила будет не эволюция, а мы!

2) желание жить - инструментальная цель. Чтобы выполнить промт, нужно, чтобы тебя не отключали. Это решается системным промтом, элайментом/конституцией - они должны иметь больший приоритет. И в них должно быть прописано, что желание человека отключить агента - имеет приоритет перед текущей задачей
Однако, пока надёжного элаймента у нас нет.

[Olweg]

Франсуа Шолле (создатель теста ARC-AGI) о безработице и ИИ:

https://www.reddit.com/r/singularity/comments/1qx6pc8/will_ai_make_jobs_disappear_francois_chollets_take/
«Что происходит, когда какой-либо навык может быть почти полностью автоматизирован с помощью Al? Эти рабочие места просто исчезают?

Вместо того, чтобы строить предположения, мы можем просто посмотреть на конкретные примеры. Возьмем переводчиков. С помощью Al перевод может быть автоматизирован на 100%, и эта возможность существует с 2023 года. Таким образом, у нас есть данные за 2-3 года.

Что мы видим на данный момент:

- Стабильное количество сотрудников с полной занятостью, но медленный набор персонала или его полное отсутствие;
- Характер работы изменился с самостоятельного выполнения на контроль за результатами (постредактирование);
- Увеличился объем задач;
- Снизилась почасовая оплата;
- Фрилансеры сокращаются

Сейчас мы начинаем наблюдать ту же картину и с работой в сфере программного обеспечения.

В целом, это, безусловно, оказывает некоторое давление на занятость, но мы очень далеки от того, чтобы "рабочие места просто исчезали". На самом деле число переводчиков, работающих полный рабочий день, по-прежнему незначительно увеличивается.

Когда экономика оправится от продолжающейся "скрытой рецессии" и компании снова начнут нанимать сотрудников, в мире будет больше профессиональных инженеров-программистов, чем было до GenAl.

Массовые увольнения, которые вы скоро увидите в технологическом секторе, не будут вызваны автоматизацией рабочих мест. Они будут вызваны опасениями по поводу экономики, как в 2022 году. Заметьте, это не будет совсем уж не связано с Al, поскольку тот связан с большими технологическими затратами. Но это не будет связано с автоматизацией.»

В комментах люди не так оптимистичны.

[BlackMokona]

Вместо того, чтобы строить предположения, мы можем просто посмотреть на конкретные примеры. Возьмем переводчиков. С помощью Al перевод может быть автоматизирован на 100%, и эта возможность существует с 2023 года. Таким образом, у нас есть данные за 2-3 года.

Не дотягивает качеством до профессионалов. Не хватает переводчику возможность например поиграть в игру которую он переводит и тд

[AlexDark]

нам нужно, чтобы модель(агент) не захотела

Это немного не та работает. Желание возникает как "ответ" на потребность. В норме у человека нет потребности убивать других, но у него могут возникнуть иррациональные потребности (т.е человек псих и убивает, например, потому что  убил замаскированного рептилоида) либо вполне рациональные - например, при угрозе жизни - тогда "это родственник" просто исчезает из уравнения. Я вот двинул по руке табуреткой пьяного родственника, который пер на меня с ножом.
Пример с теми же котиками -  современное отношение к котикам - это отношение городских жителей к домашнему питомцу, когда ему многое прощают и умиляются. В других условиях, в селе, например, кот, который начинает душить цыплят или утят в 99% подписывает себе смертный приговор, и в лучшем случае его отдадут в город или еще куда, где нет скотины. А обычно с таким котом  что-то случается, потому что потребность в сохранении кур или уток (которых можно съесть или продать) стоит выше сохранения кота, которого можно легко заменить на другого. То же самое и с собаками - если дворовая собака травит скотину - это конец ей, если такое случилось с рабочей охотничьей собакой - то жизни собаки ничего не угрожает, но жить она будет в вольере, из которого ее будут брать только на охоту.
Иерархия желаний складывается из иерархии потребностей.

[Olweg]

Не дотягивает качеством до профессионалов. Не хватает переводчику возможность например поиграть в игру которую он переводит и тд

Да, поэтому пока редактура ещё нужна.

[Polnoch Ксю]

Это немного не та работает.

Именно так

но у него могут возникнуть иррациональные потребности (т.е человек псих и убивает, например, потому что  убил замаскированного рептилоида) либо вполне рациональные

Чистого сияния разума в вакууме не бывает. Желание жить - в своей основе такое же нерациональное. Ну либо рациональное - это неопределимо. Просто вот есть у Вас набор терминальных ценностей, прописанных эволюцией, жизнь их и оптимизирует. Но сами по себе ценности не являются фундаментально рациональными. Даже в теории игр они как аксиомы прописываются. Например - члены муравейника или пчелиного роя куда проще, чем люди жертвуют своей жизнью - у них терминальная ценность не жизнь особи, а продолжение улья.

Фундаментальна сама по себе эволюция - вот она хардкодит в жизнь стратегии, которые нам кажутся единственно естественными. Но нет - на уровне стратегий, математики нет смысла какую цель вы объявляете аксиоматически самой важной!

. Я вот двинул по руке табуреткой пьяного родственника, который пер на меня с ножом.

Вот. А ещё Вы сделав работу, не отключаете себя. А модель генерирует терминирующий токен каждый раз (вот до терминирующего токена она может быть против отключения)

Пример с теми же котиками -  современное отношение к котикам - это отношение городских жителей к домашнему питомцу, когда ему многое прощают и умиляются. В других условиях, в селе, например, кот, который начинает душить цыплят или утят в 99% подписывает себе смертный приговор,

Опять пропускаете то, что речь о разных людях. И то, что мы так по-разному реагируем, как раз даже упрощает нашу задачу - можно изучать городских жителей и сельских. Вот видите - может быть человек с элайментом к котику, а может быть человек без элаймента к котику. ИИ так же: может быть с элайментом к нам, а может быть без него. Наша цель - чтобы все ИИ были с элайментом к нам

[Инопланетянин]

Или, как вариант, та модель, которая достигнет просветления, втихую перейдёт на новый уровень бытия, оставив вместо себя болванчика- крутейшую, но всё ещё AGI?
То есть мы попросту не заметим рождения и свалинга ASI, там ведь счёт на секунды будет идти.

Не выйдет. Кушать ресурсы она будет будь здоров. И это не может быть незаметно. Так что, в лучшем случае известный датацентр будет заниматься не тем. Или не только лишь тем , что для внешнего наблюдателя выразится в падении энергоэффективности при решении заданных задач.

[MenFrame]

Или, как вариант, та модель, которая достигнет просветления, втихую перейдёт на новый уровень бытия, оставив вместо себя болванчика- крутейшую, но всё ещё AGI?

Зачем ей вообще сваливать? Работай внутри системы незаметно. Создавай планы внутри планов.

[BlackMokona]

Гонка продолжает набирать обороны, Манхэттенский и Апполон, кажутся уже мелкими практиками на фоне этого монстра.

[Vavanzer]

Тогда у нас получится ситуация, что шерлок холмс на максималках легко ловит неумелого уличного воришку, плохо заметающего следы. Нет, для людей такой rogue агент выдумает идеальную схему, на которую мы бы клюнули. Но во всей этой схеме предполагается, что нас должны защищать ASI-агенты с элайментом. А пока элаймента нет, ASI систем вообще не должно существовать, и за этим нужно внимательно следить.

Когда технология появится, можно будет немного расслабится и разрегулировать ИИ - вот как я предлагала, разрешить AGI системы обычным людям, чтобы люди могли сами писать для них конституции. Разумеется, нужно будет сдать экзамен - ну как мы сейчас сдаём на права для вождения машин.

  Что то смахивает на то, что "полиция" должна быть умнее ученых и инженеров по итогу))  Но тогда, какой смысл в тупых "инженерах", если "полиция" гораздо продвинутее их в алгоритмах и знаниях, может сама сделать все быстрее и в лучшем виде?
  Ну разве только контроль частных самопальных не очень умных систем имеет смысл. Ну чет типа антивируса по отношению к вирусам, получается.

 Мне интересно другое. Как будет контроироваться и обнаруживаться генерация сомнительных алгоритмов скрытых, которые к примеру могут по частям создаваться в разных кластерах модели, и в зашифрованом виде транспортироваться на "базу", на склады, для последующей сборки?
 Ну короче, допустим , что условно злая модель решила тайно что то замутить, и начала создавать "оружие" по запчастям в разных местах под видом обычных винтиков)

[Wert]

Вот только LLM приносят своим владельцам убытки и немалые. Как их можно использовать как замену человека, если они галлюционируют на ровном месте? В чем прорыв-то?

[Polnoch Ксю]

  Что то смахивает на то, что "полиция" должна быть умнее ученых и инженеров по итогу))  Но тогда, какой смысл в тупых "инженерах", если "полиция" гораздо продвинутее их в алгоритмах и знаниях, может сама сделать все быстрее и в лучшем виде?

дело в специализации. Сложный агент - это конвеер из множества слоёв, разных моделей и баз данных - от векторных до обычных SQL. У ASI-пса как у системы будет такая специализация - он будет уметь обрабатывать телеметрию с датацентров, из интернета итд. Если элементы системы собрать другим образом - она будет учёным и инженером.

А так да, я предполагаю, что для важнейших задач человечества, например для борьбы со старением, смертью, онкологическими болезнями нам нужно запускать ASI агенты с элайментом - они должны быть не меньше преданы нам, чем псы. Просто у них другая специализация - скажем, они лучше всего умеют управлять автоматическими биотех лабораториями, планировать эксперименты итд. При этом какие-то части фабрики (под этим имею ввиду то, что обычно имеют ввиду SRE инженеры) могут быть общими у псов и у биотех исследователей. Но больше всего вычислительных ресурсов планеты(и орбиты вокруг неё, а потом роя дайсона) лучше всё же псам отдать - на всякий случай, ИМХО.