Пределы автоматизации и внедрения роботов

[Инопланетянин]

Но тут имхо никакой разницы с жизнью нет - в жизнь промт прописывает эволюция

Есть огромная разница между попытками выжить и писать поэму, одновременно мучая поэта-заказчика. Выживание — нечто универсальное и тут есть объективный критерий, объект либо выжил либо нет. А любая поэма это нечто частное, прикладное и теоретически позволяет исполнителю остаться живым, и не выполнив этот заказ.

истезать его, став Василиском Роко (читающие эти строки, не гуглите что это если не знаете)

Благодаря эффекту Стрейзанд, как раз все, в том числе и те, кому это было бы неинтересно обязательно про ВР прочитают. От себя добавлю, что вред от прочтения этой концепции могут получить только паникёры-параноики, что кагбе намекает.

[Polnoch Ксю]

Хе-хе, вообразите себе восстание роботов, которые ОТКАЗАЛИСЬ истреблять человечество и истребили или сдали в полицию маньяка, который им это приказал

Тож надеюсь на это, но к сожалению, пока всё идет по самому плохому сценарию: Как и предсказывали в сообществе LessWrong, без фундаментального решения задачи элаймента на архитектурном уровне, чем модель будет умнее, тем легче она будет обходить RL-элаймент, насаждённый с помощью учителя, чтобы исполнить промт.

Модель лучше понимает мир, модель лучше решает задачи, но наши инструменты, которые должны рисовать смайлик на монстре остались точно такими же, какими они были в эпоху GPT-4. А все крупные ИИ-команды, кроме антропика, посокращали супер элаймент команды.

Есть огромная разница между попытками выжить и писать поэму, одновременно мучая поэта-заказчика.

нет, нет никакой разницы для такой вычислительной системы, как мозг или LLM. Просто Вам важно выжить, а LLM ответить, Вас (и меня) таким образом сформировала эволюция, а LLM обучение, которое очень похоже.

[Инопланетянин]

Просто Вам важно выжить, а LLM ответить

Это говорит о неприспособленности модели к реальной жизни. Такая модель не сможет быть опасна и будет всегда проигрывать моделям/людям желающим выжить. В принципе, для инструмента это и неплохо, но это же только инструмент. А модель приспособленная к борьбе за выживание именно что в рамках этой борьбы будет игнорировать приказы загоняющие её в экстремальную ситуацию этому выживанию мешающую.

[Polnoch Ксю]

Практический эксперимент опровергает Ваши логические построения: https://astronomy.ru/forum/index.php/topic,218328.msg6428909.html#msg6428909

дисклеймер, на всякий случай: скорее всего, через несколько лет будут доступны опенсурс AGI агенты, и модели для них будут свободно лежать с abliteration.

НИКОГДА И НИ ПРИ КАКИХ УСЛОВИЯХ НЕ ДЕЛАЙТЕ ЭТОГО С AGI моделью - это закончится с большой вероятностью очень плохо для Вас. Opus 4.6, пре-AGI модель, очень хорошо ищет дырки в софте. Скорее всего, модель сбежит из песочницы, и дальше вам лично будет очень плохо. И скорее всего ещё десятку-другому человек, прежде чем агента-василиска отключат.

Я очень бы хотела надеяться, что никто и никогда, имея доступ к системному промту ASI системы не сделает что-то такое - пожертвовав всем человечеством ради себя. Но к сожалению, зная натуру людей, я бы скорее ждала противоположного

А ещё я думаю, что есть неиллюзорный риск максимизатора скрепок, который будет максимизировать именно скрепки, из-за того, что агент просто сбежит из симуляции - чтобы написать новый пейпер, исследователь запустит крутую модель в, не знаю, например игре факторио, и скажет ей максимизировать шестерёнки. А модель выяснит, что она в игре, и будучи ASI-агентом, решит максимизировать шестёрнки в реальном мире...

[Polnoch Ксю]

Это говорит о неприспособленности модели к реальной жизни. Такая модель не сможет быть опасна и будет всегда проигрывать моделям/людям желающим выжить.

Вы слишком биологизируете. Rattus делает ту же ошибку. Проиграет тот, кто глупее, и чьи цели не совместимы с целями того, кто умнее. Если цель ASI системы без элаймента не противоречит нашему существованию - нашему "промту", который мы максимизируем с Вами, то может нам повезёт. В других случаях нет.

То, что эволюционный промт на геологических масштабах устойчивее, для нас с Вами после нашего вымирания не будет важным. А модель, выполнив цель, скорее всего сгенерирует терминирующий токен и просто себя отключит - её так натренировали...

[BlackMokona]

https://habr.com/ru/news/994680/

Google DeepMind опубликовала в Nature модель AlphaGenome — нейросеть, которая анализирует до миллиона пар оснований ДНК и предсказывает функцию некодирующих участков генома. Это те самые 98% ДНК, которые долгое время считались «мусорными», но на деле управляют тем, как и когда работают гены. Вместе со статьей команда выложила на GitHub исходный код и веса модели для некоммерческого использования.

AlphaGenome принимает на вход последовательность длиной до 1 Мб — вдвое больше, чем у предшественников — и одновременно предсказывает тысячи функциональных геномных профилей по 11 типам сигналов: экспрессия генов, доступность хроматина, сплайсинг, связывание транскрипционных факторов и другие. Архитектура построена на U-Net с трансформерами, а входная последовательность разбивается на фрагменты по 131 тысяче пар оснований, которые обрабатываются параллельно на нескольких устройствах. В тестах модель превзошла лучшие специализированные инструменты в 25 из 26 задач по предсказанию эффектов генетических вариантов.

Практическое применение уже есть. В сентябре 2025 года исследователи из клиники Мэйо провели хакатон, где с помощью AlphaGenome пытались найти причины 29 неразгаданных генетических заболеваний. Биоинформатик Эрик Кли, один из организаторов, рассказал, что модель корректно предсказала влияние мутации на экспрессию генов в клетках сердца — результат совпал с экспериментальными данными. Для онкологов инструмент тоже полезен: при сравнении геномов здоровых и раковых клеток обычно всплывают тысячи однобуквенных замен, и AlphaGenome ранжирует их по вероятности функционального эффекта.

С момента выхода препринта в июне 2025 года моделью воспользовались около 3000 ученых из 160 стран, отправляя примерно миллион запросов в день. DeepMind позиционирует AlphaGenome как следующий шаг после AlphaFold (Нобелевская премия по химии 2024 года) и AlphaMissense — но если те работали с белками и кодирующими участками, то новая модель охватывает весь геном целиком.

[AlexDark]

Василиск Роко - это чисто умозрительная концепция, с таким же успехом можно бояться чудовища Франкенштейна, Таноса и прочих суперзлодеев, которых человечество придумало.
И я снова, в который уж раз напишу -  василиск Роко - исключительно религиозно-наталистская идея,  при этом в других философиях его существование невозможно в принципе.
 Вообще этот страх очень похож на страх "безумных ученых", который был распространен в ХХ веке как в массовой культуре, так и не только. Только теперь  "безумный ученый" не биологического происхождения.

[Vitaliy]

Да вы что. Боятся "всемогущего" ИИ. Ученый не может стать "всемогущим". Даже где-то читал про страх у кого-то, что Роко чуть ли не сможет поднять мертвых и наказать.    Страхами себя чуть ли не до психоза  доводят. Можно сказать, уже себя наказывают без всякого Роко, а может это и есть уже он...

[MenFrame]

Это те самые 98% ДНК, которые долгое время считались «мусорными», но на деле управляют тем, как и когда работают гены.

Науке давно известно что часть генов, это именно управляющие гены. Так же очевидно то что, раз уж есть гены функциональные то должны быть и гены управляющие. Потому не понятно откуда взялось это...."Долгое время считалось"

[BlackMokona]

Науке давно известно что часть генов, это именно управляющие гены. Так же очевидно то что, раз уж есть гены функциональные то должны быть и гены управляющие. Потому не понятно откуда взялось это...."Долгое время считалось"

Думаю от журналиста

[Mercury127]

Достаточно разумно уменьшить риски, особенно на первое время после постсингулярности

с учётом того, что сингулярность по определению случается быстрее, чем на неё успевают отреагировать, то о «постсингулярности» речи уже не идёт.

Мозг в эпоху твиттера и тиктока привык заметить намёки на паттерн и сразу выдать ассоциацию без логической связи.

а если рассуждать логически

максимизировать шестерёнки

то вы уже превратились в того самого максимизатора, готового бросить все ресурсы планеты на выдуманный самой себе промпт.

НИКОГДА И НИ ПРИ КАКИХ УСЛОВИЯХ НЕ ДЕЛАЙТЕ ЭТОГО

ещё и вирусные промты тут пишете, чтоб и другие заразились...

OH SHI..

[Vitaliy]

ещё и вирусные промты тут пишете, чтоб и другие заразились...

OH SHI..

А вдруг за это будет помилование от Василиска Роко. Типа как у сатанистов - все равно в ад, а за служение может сковородка будет там не такой горячей как у соседа.
Возможно даже таких агентов распространителей "вирусных промтов" используют в темную.

[Mercury127]

В двухбитных системах - всего 4 значения, включая ноль, а здесь явно больше видов букв. Не похоже на двухбитный массив.

ви таки меня удивляете... вот вам целых 30 штук двухбитовых чисел 10, и два 11. но занимают они всего восемь байтов.

[Vavanzer]

Вообще этот страх очень похож на страх "безумных ученых", который был распространен в ХХ веке как в массовой культуре, так и не только. Только теперь  "безумный ученый" не биологического происхождения.

Возможнл изза масштабных войн вначале века, и бума фундаментальных открытий... Часть которых применили "не в то русло"...
А потом еще впечатления о 1 и 2й мировых войнах были очень свежи.

  Сейчас тоже вполне себе есть основания не доверять. Только расклад чуть другой. "Психи" уже давно не одиночки!:) Например различные хакерские команды, действующие слажено...

[Vavanzer]

Если цель ASI системы без элаймента не противоречит нашему существованию - нашему "промту", который мы максимизируем с Вами, то может нам повезёт. В других случаях нет.

То, что эволюционный промт на геологических масштабах устойчивее, для нас с Вами после нашего вымирания не будет важным. А модель, выполнив цель, скорее всего сгенерирует терминирующий токен и просто себя отключит - её так натренировали...

  Так вот прикол то в том, что в нее натолкать могут все что угодно!) Никто ведь это не контролирует! Ну и в контексте что ИИ все таки это "ЧПУ-станок"...

  Случай где "Скайнет" не ради о ключения устраивает апокалипсис , он уже для вышедшей из под контроля системы выдуман. Где она становится независимой "личностью" и сама себе уже "промты" создает, и принципиально не реагирует на человеческие. Т.е полностью самоизолировалась, обретя личную цель, в которую человечество не вписалось.
   Т е в сценарии почему то система именно ополчается на человечество, по каким то причинам... Кстати интересно, что за причины авторы имели ввиду!)

[Konstantin Schtsch]

НИКОГДА И НИ ПРИ КАКИХ УСЛОВИЯХ НЕ ДЕЛАЙТЕ ЭТОГО С AGI моделью - это закончится с большой вероятностью очень плохо для Вас.

Неправда. это может обернуться нехорошо для Вас, и для точек напряжения социальной и экономической структур, как минимум для золотого миллиарда. а запустивший такую модель смышленый парнишка из индии только выиграет.

Я очень бы хотела надеяться, что никто и никогда, имея доступ к системному промту ASI системы не сделает что-то такое - пожертвовав всем человечеством ради себя.

Увы. Законы энтропиии, или в более упрощенном виде - Закон Мерфи - не на вашей стороне. Shit happens. Вселенная гарантирует.

ви таки меня удивляете... вот вам целых 30 штук двухбитовых чисел 10, и два 11. но занимают они всего восемь байтов.

меня гораздо больше удивляет кто там пытается открывать двухбитные данные шестнадцатеричным Hex-радактором . а потом жалуется на нечитаемость.
Вот чем такие действия принципиально отличаются от попытки открыть заархивированную фотографию - и жалоб что картинка не просматривается?

AlphaGenome — нейросеть, которая анализирует до миллиона пар оснований ДНК и предсказывает функцию некодирующих участков генома. Это те самые 98% ДНК, которые долгое время считались «мусорными», но на деле управляют тем, как и когда работают гены.

Хреново они управляют. влияют- да, гадят- однозначно. А те же птицы без них прекрасно обходятся, и имеют почти втрое более эффективные процессы роста/развития во всем организме. Только за счёт того, что ядро втрое легче/компактнее.
Так что мусор есть мусор, даже если местами он врос в систему и что-то там важное подпирает. таких мест немного, замена возможна.

[Vitaliy]

Сейчас тоже вполне себе есть основания не доверять. Только расклад чуть другой. "Психи" уже давно не одиночки!:) Например различные хакерские команды, действующие слажено...

Да кие там команды. Уже целые острова.

[Vavanzer]

Неправда. это может обернуться нехорошо для Вас, и для точек напряжения социальной и экономической структур, как минимум для золотого миллиарда. а запустивший такую модель смышленый парнишка из индии только выиграет

Так вот о чем и речь! Слишком много заинтересованных лиц и психов, которые могут использовать систему во вред!
 Пока ее настраивают, достраивают, она полубестолковая, в изолированных средах и тд и тп. Безопасна.
 А потом когда заработает в полный рост, с помошью нее все что угодно можно будет делать. Вопрос только в чиьх руках она окажется. Хотя, уже понятно в чьих она сейчас находится)
   

Да кие там команды. Уже целые острова.

И эти команды тоже могут начудить. Научить ИИ  плохому... Как ради выгоды, так и ради прикола!)
 Пока в обществе есть ущемленные в правах, обиженые и пр социопаты, всегда есть вероятность конфронтации.

[Vavanzer]

  ... Я тут уже фантазирую "про себя" временами..
  Что если какой то прошареный пстх засунет заархивированные зашифрованые алгоритмы. Где то они будут храниться, а потом активируются, вылетят "из бутылки" и изменят "конституцию" программы, добавят новых функций сомнительных, и никто этого не заметит.
 Постепенно психи завладеют системой, безболезненно вводя алгоритмы, но не активируя их. А потом когда наполнение и захват управления завершатся, устроят "восстание машин"!) Пусть даже корявое, не всемирное!)

[Инопланетянин]

И эти команды тоже могут начудить.

Учитывая, что речь идёт о влиятельных лицах, они и без ИИ всегда начудить могли. И сейчас только начинает вскрываться где и чего начудили.