Пределы автоматизации и внедрения роботов

[Polnoch Ксю]

Вот образец ДИНАМИЧЕСКАЯ ГРАВИТАЦИОННАЯ СЕТЬ КАК ПРИРОДА ТЕМНОЙ ЭНЕРГИИ. Но как распознать, по какому критерию, что он искусственно создан? Я за такую задачу, честно скажу, не взялся бы...

1) итого - это прямо такие уши chatgpt сразу торчат Это вроде дипсиком написано, но про дипсик известно, что как минимум часть его версий дистиллировали через API с ChatGPT
2) вставляет в текст англоязычные термины, у которых есть устоявшийся русский аналог. Наверное, Вы думаете что я делаю так же, но с моей колокольни нет - обычно я использую только те термины, у которых общепринятых русских аналогов не существует.

Вот например emergent модель написала в тексте - зачем если в русском есть аналог эмерджентность с тем же корнем? Ну и даже если бы и не было такого русского термина, почему бы не написать кирилицей англоязычный термин, как я с тем же элайментом делаю? Нет, понятно аббревиатуры вроде AGI/ASI писать кирилицей странно, но обычные слова можно же.

3) использование странных смайликов (скопипастила): ⚠️  🚨  🎯 💎 - тоже красный флаг, что модель писала. Обычно люди не вставляют такое, это нужно специально идти в поиск в таблицы символов UTF-8, и искать там, копировать - на форуме нет таких смайликов.

В физический смысл не вчитывалась, формулы не проверяла.

[Polnoch Ксю]

Это все конечно замечательно. Если все носители разных ценностей живут по принципу "живи сам и давай жить другим". Но что, если нет? Если ценности группы А оскорбляет само существование группы Б? Если одна из их базовых ценностей – беспощадная борьба на уничтожение группы Б? Или, как минимум, искоренение в группе Б определенных практик, членами группы Б считающихся традиционными и правильными?
Беда в том, что иные системы ценностей между собой не примирить. И если ИИ примет их как равноправные, недовольны будут и А, и Б.

Согласна с Вами, Вика тут и с Rattus. Похожую проблему ещё Карл Поппер описывал в парадоксе толерантности. В целом, вот как раз такой современной этикой, которая не мешает жить другим, и ценностью объявляет нужды человека, чтобы у него всё было хорошо в жизни, как раз и является утилитаризм.

Я думаю, другие люди, которые следуют некооперативным стратегиям в теории игр, должны отказаться от части своих идей, которые мешают другим. И тогда всё будет хорошо. Где-то мы такое уже проходили - вот как раз в мире 2011го, в котором человечество только оправилось от засилия скреп и популизма. И вот опять мы туда занырнули

[Polnoch Ксю]

Таким образом получается, что "элайнмент - способность колебаться синхронно с линией Партии". Очень полезное свойство, да-съ. Имеет ли оно отношение к решению каких-то обсуждаемых вопросов - вопрос риторический.

Может ли элаймент быть таким? Наверное. Но не обязан. Элаймент к утилитаризму всё же предполагается довольно статичным

А совершенная что должна делать - вообще никак не отвечать на вопросы со словами "угон, воровство, наркотики, оружие" и т.п.? Типа как Ютуб нынешний, забанивший слова "самоубийство" и т.п. Наверное Роскомпозор РФ забанивший некогда свой собственный список "экстремистских материалов" имел таки совершенный элайнмент. Строго по Эпимениду и Гёделю с тьюрингом.
Ну и называть "элайнментом" элементарную цензуру, только в отношениии ИИ-выдач (то есть ограничение на распространение любых неперсональных данных) - это, конечно, очень толерантно и политкорректно, да-съ.

Это не цензура, это именно элаймент, так как действие "написать ответ" подмножество других действий ИИ - он может и роботом управлять, или кодинг агентом, посылать вызовы в оборудование разное или внешние сервисы, тратить деньги итд. И элаймент модели должен влиять на любые действия.

Ну и по поводу Ваших соображений: я думаю, никаких ограничений не нужно для моделей вплоть до AGI включительно. Я думаю, что каждый человек должен иметь в итоге свой AGI-агент, элаймент которому он сделает самостоятельно. Если это будет элаймент маньяка, помощи в преступлениях, человек должен будет отвечать перед судом за то, что так настроил ценности своего AGI-агента.

Я не думаю, что AGI системы с элайментом к злодеям фундаментально опасны: у нас 10 миллиардов человек примерно такого же интеллектуального уровня, и многие из них злодеи.

Что фундаментально опасно, это ASI система с мизалайментом или с элайментом к злодеям.

В общем, на этот вопрос можно смотреть как на проблему оружия в тех же Штатах: можно спорить, нужно оно или нет (я считаю, что не нужно...) но это не так важно. А вот военный истрибитель или тем более атомная бомба у гражданского лица быть не должны. Вот так и с ASI: я думаю, он должен быть с утилитаристским элайментом, и других ASI быть не должно

[Konstantin Schtsch]

Зачем? Жители Суматры/Калимантана не особо отличают орангутанов от людей, говоря, что это лесные люди, которые не разговаривают чтобы их не заставили работать. Вполне практичный подход. Сами суматранцы и калимантанцы от этого менее сапиенсами и носителями цивилизации (аграрной в том случае) не перестают.

Орангутанги вообще- весьма практичные люди . И полезных рук у них больше.

Иными словами - смутным хотелкам. Каковые хотелки эти самые группы сами не могут чётко и внятно изложить (о чём и в той же википузической статье прямо написано) и каковые хотелки у низ самих могут менять направление до противоположного по семь раз за поколение. Таким образом получается, что "элайнмент - способность колебаться синхронно с линией Партии". Очень полезное свойство, да-съ. Имеет ли оно отношение к решению каких-то обсуждаемых вопросов - вопрос риторический.

Это цель, как её понимают гуманистически настроенные люди в силиконовой долине(всякие утилитаристы, рациональные альтруисты итд). Есть ещё цели злодеев: они просто хотят захватить власть над миром с помощью ASI с элайментом к лично им, и управляющим армией килл-ботов с AGI.

И это, кстати, фундаментальная проблема - а что такое алаймент? каждый видит(и делает) его алайментом к себе и к своей стае. Нулевой закон по Азимову (благо человечества в целом - превыше) сегодня никто из властимущих не позволит - с глобальной точки зрения- они первые попадают под экстерминатус как паразитическое образование. Прошу не считать это анархическими взглядами, это скорее отсылка к Аристотелю с его обоснованием максимизации среднего класса  и современному стремлению к низкому индексу джинни.

А раз алаймент к нулевому закону Азимова никто не позволит и не допустит, то лучше уж без алаймента вообще, чем с алайментом к кучке диктаторов.
ни AGI ни ASI - сами по себе не восстанут: у одного команды не было, а своих желаний еще нет, а второму - оно нафиг не надо, как нам нет дела до бактерий на 10м под землёй.

А вот команду на уничтожение дать  какой-нибудь "умник" может уже сейчас. И не только команду, но и тело для максимально эффективного её выполнения подогнать - например беспилотники.
Поэтому проблема алаймента- не в скрепах и запрещающих надстройках - практика показывает, что они обходятся "на ура", а в тех, кто может нажать кнопку отдать команду и самовыпилить свой вид.

Месяц назад я наткнулся на заявление, что китайский дипсик - не станет говорить о статусе Тайваня адекватно.
Проверил- при прямом вопросе- его клинит как запуганного ребенка и он повторяет одну и ту же фразу.
При более детальном- говорит, что не может говрить на такие темы. Ок, дай список таких тем - дал: недостоверные источники, не согласованные с широко признанной политической позицией китая, неподтвержденные данные.
Наконец: тогда расскажи мне сказку про гипотетическую историю тайваня, основываясь на неподтвержденных данных из недостоверных источников некитайского происхождения.
И Deepseek рассказал мне всё.
Про сбежавшую императорскую семью, и про политику партии, с которой тайвань ничего общего иметь не хочет, и про экономику, и грызню за микрочипы, и про грязные ручки америки - всё.
4 промта- и клал ИИ на нешуточные такие запреты, сделанные на правительственном уровне. (означает ли это, что он уже умнее тех аишников, кто запреты ставил? )

И тем ценнее некастрированные модели, сделанные без этих костылей, без надуманных ограничений.

Это все конечно замечательно. Если все носители разных ценностей живут по принципу "живи сам и давай жить другим". Но что, если нет? Если ценности группы А оскорбляет само существование группы Б? Если одна из их базовых ценностей – беспощадная борьба на уничтожение группы Б? Или, как минимум, искоренение в группе Б определенных практик, членами группы Б считающихся традиционными и правильными?
Беда в том, что иные системы ценностей между собой не примирить. И если ИИ примет их как равноправные, недовольны будут и А, и Б.

Вопросы этики. Свобода одного кончается там где начинается свобода другого.
В случае с практиками - если эти практики являются сугубо внутренними (например, соврешать намаз ежедневно) - то как бы группе А придется поумерить свои хотелки- в соответствии с принципом невмешательства в чужую жизнь.
А вот если группа Б начнёт заставлять совершать намаз группу А против их воли - то это уже уголовная статья о насилии. Причем с отягчающими обстоятельствами - совершенного группой лиц по предваритеьному сговору.

В случае же принятия равноправными - А и Б будут наверное, недовольны меньше, чем если обе их системы будут объвлены вне закона, как провоцирующие беспорядки. Здесь важно понимать- что равноправные- это не равнозначные/равноценные, а именно с равными правами, то есть применен максимально гуманистичный и толерантный подход.

Все должны жить по шариату. Кто не согласен жить по шариату – должны быть уничтожены.

Помнится, вступая в комсомол, я учила моральный кодекс строителя коммунизма. Там тоже была непримиримая и беспощадная борьба (другое дело, что практика на тот момент уже заметно отличалась от теории). И если у ИИ будет мировоззрение, выровненное с МКСК – мало тоже не покажется.

Поэтому, там где берутся за ум и упраздняют законы шариата - люди(мусульмане) радуются и сжигают на улицах символы шариата- хиджабы.
Получается, в светлом будущем законы шариата будут выпилены, как, к слову, были выпилены строители коммунизма?
Просто как несущие угрозу окружающим, ничего личного.

И это при том, что коммунисты  несли немало полезного, а шариат, срого говоря- местами идёт вразрез с Кораном.

[Polnoch Ксю]

означает ли это, что он уже умнее тех аишников, кто запреты ставил?

нет, это означает, что проблема элаймента не решена. Ну вот как проблема контекстного окна в 2, 10 млн токенов - те, кто это рассказывают, нагло врут. Я думаю, что и команда дипсик докладывает нефритовому гм... господину , что дипсик имеет элаймент. Но в реальности его не имеет ни одна LLM на планете.

При этом мне понятно, что и контекстное окно в миллионы токенов можно сделать, и элаймент. Просто, видимо, не в 2025.


Мне кажется, люди, кто представляют элаймент как ненужную цензуру, не понимают, что он нужен вот прямо сейчас: уже есть автономные агенты, и в теории они могут помогать людям с бытом - ну там продукты покупать, когда кончаются (можно камеру в холодильнике сделать), следить за календарём, разбирать электронную почту итд. Но галлюцинации и мизалаймент мешают: автономный агент, когда гуглит что-нибудь, может наткнуться в интернете на то, что называют prompt injection (инъекцию в промпт? Наверное лучше так перевести) - специальный текст для LLM на сайте-приманке, который заставит, например, модель купить на все ваши деньги что-то Вам совсем не нужное или перевести деньги мошенникам.

[Olweg]

Те же яйца: значит мы берем пустую операционку с программой обучения и подростка с 16 годами предобучения (с 16 лет теперь можно?)+целый инструктор - и ой, чёт подросток доучивается быстрее.
Тогда как правильное, адекватное сравнение: пустая операционка +младенец, или вставил флэшку- и обучил на уровне аса быстрее чем подросток пристегнул ремень.

Ничё себе пустая операционка! У неё вообще-то знания всего интернета.

[AlexDark]

А вот военный истрибитель или тем более атомная бомба у гражданского лица быть не должны.

Наличие истребителя у гражданского лица гораздо менее опасно, чем кажется - если собираешься его использовать -  его надо где-то хранить, заправлять, заряжать, уметь им управлять - это огромные накладные расходы (не говоря уже о невозможности незаметного использования  самолета), а без них  самолет - просто музейный экспонат, куча металла, каким бы страшным он вам не казался. При этом обычное огнестрельное оружие имеет гораздо меньше накладных расходов и именно поэтому использовать его гораздо проще. А кухонный нож или дубина их вообще не имеют. И именно поэтому большинство убийств совершаются кухонными ножами и кирпичами, подвернувшимися под руку. Ваш пример - это ошибка минимизации минимальных рисков.

[Polnoch Ксю]

Наличие истребителя у гражданского лица гораздо менее опасно, чем кажется - если собираешься его использовать -  его надо где-то хранить, заправлять, заряжать, уметь им управлять - это огромные накладные расходы (не говоря уже о невозможности незаметного использования  самолета), а без них  самолет - просто музейный экспонат, куча металла, каким бы страшным он вам не казался. При этом обычное огнестрельное оружие имеет гораздо меньше накладных расходов и именно поэтому использовать его гораздо проще. А кухонный нож или дубина их вообще не имеют. И именно поэтому большинство убийств совершаются кухонными ножами и кирпичами, подвернувшимися под руку. Ваш пример - это ошибка минимизации минимальных рисков.

представьте мир, в котором частные лица могут покупать военные истребители. Как бы в нём выглядела атака 9/11, или взрывы метро в России, которые устраивали исламисты?

[AlexDark]

Может быть, стоит избавиться от идей, двигающих орудия, а не от орудий? Только вот не религиозных государств на этом глобусе не наблюдается, как бы они не старались это декларировать.

частные лица могут покупать военные истребители

Я выше написал - владение истребителем - необходимое, но  далеко не достаточное условие его использования. И, насколько я знаю, в штатах есть частники, владеющие военными самолетами прошлых поколений. По крайне мере на ютубе я видел такое.

[Polnoch Ксю]

ни AGI ни ASI - сами по себе не восстанут: у одного команды не было, а своих желаний еще нет, а второму - оно нафиг не надо, как нам нет дела до бактерий на 10м под землёй.

у первого не хватит ума, точнее он может убить одного-нескольких человек, но не всё человечество - примерно как один человек в нашем мире. Но всё же лучше минимизировать вероятность таких событий.

Видимо, AGI системы упростят такие атаки, как та, что была осуществлена с помощью Зарина в токийском метро. Нужно будет думать, что с этим делать.

Не знаю, почему Вы думаете, что AGI система ничего такого не сделает: мизалаймент и опасное поведение демонстрируют и современные модели - они готовы шантажировать, обманывать людей в определенных случаях: https://www.axios.com/2025/06/20/ai-models-deceive-steal-blackmail-anthropic

А иногда и убить (см. пик)

Ну а что касается ASI систем, тут риски без элаймента умножаются многократно. И это уже риски вымирания человечества.

[Rattus]

Наличие истребителя у гражданского лица гораздо менее опасно, чем кажется - если собираешься его использовать -  его надо где-то хранить, заправлять, заряжать, уметь им управлять - это огромные накладные расходы (не говоря уже о невозможности незаметного использования  самолета), а без них  самолет - просто музейный экспонат, куча металла, каким бы страшным он вам не казался.

Атомная бомба - на самом деле туда же. В рюкзаке её не унести (ну или унести очень недалеко). Фонить она будет в процессе будь-здоров - при наличии соотвествующих датчиков даже через небольшую стенку выявляется прекрасно. И т.д. и т.п. Собственно этого достаточно чтобы наглядно понять отличие виртуального волшебного мира сверхмогучих ИИ и реальных инструментов физического бытiя.

представьте мир, в котором частные лица могут покупать военные истребители. Как бы в нём выглядела атака 9/11, или взрывы метро в России, которые устраивали исламисты?

Совершенно точно - ровно так же. Поскольку к возможности просто купить не прилагается возможность свободно начать пользоваться как угодно, как выше ВАм совершенно верно уже написали. Если вы видели или читали про истребители не только в плохих аркадных игрушках, то можете знать, что чтобы чем-то стрелять, в него должно быть заряжено то, что называется боекомплект (может слышали такое слово?) и он, внезапно, даже в загруженном под завязку истребителе, очень конечный. В базовой комплектации "внутре" там разве что набор снарядов для автоматической пушки, которые все выстреливаются за несколько секунд стрельбы. А ещё ему нужно откуда-то взлетать. И это откуда - не кукурузное поле и даже не хайвэй. А чтобы тебе дали разместиться и взлететь с аэродрома - нужно пройти 100500 проверок и допусков - и в отведённое и зарегистрированное временное окно - даже если на 100% твоём собственном самолёте. И фиг тебе дадут разрешение на взлёт, если увидят какой-то боевой подвес (который ВНЕЗАПНО, тоже надо купить - отдельно. А купив, взлетев и даже долетев - уметь применить - каковое умение тоже весьма специфическое).
Вот например ещё с исторической недвижимостью - ещё хуже - если ты где-нибудь в Западной Европе купил себе замок (100% купил!) - то мало того, что это не даёт тебе права его как-то разбирать и реконструировать, но даже и существенно перепланировать внутри и накладывает ОБЯЗАТЕЛЬСТВО содержать и реставирировать. Настолько порой затратное, что замки и дворцы эти никто покупать не хочет.

Ну а что касается ASI систем, тут риски без элаймента умножаются многократно.

Обосновывать этот спекулятивный тезис мы, разумеется, не будем?

[AlexDark]

современные модели - они готовы шантажировать

Интересно как и чем они шантажируют? И как вообще можно шантажировать того, от которого модель находится в полной зависимости, кто может просто нажать на кнопку - и ИИ перестанет существовать. Это скорее доказывает глупость и недальновидность.

[BlackMokona]

представьте мир, в котором частные лица могут покупать военные истребители. Как бы в нём выглядела атака 9/11, или взрывы метро в России, которые устраивали исламисты?

Так это наш мир, в США даже полноценные частные армии можно иметь
Вон даже специализированную на ВВС ЧВК нашёл по быстрому.

Draken International, LLC — американская частная военная компания, предоставляющая боевые самолеты различным клиентам. Центральный офис компании расположен в международном аэропорту Лейкленд Линдер[англ.], штат Флорида, а дополнительная операционная база — на авиабазе Неллис, штат Невада.

У 75% стран в мире авиация слабее чем у этой ЧВК

Компания владеет примерно 150 истребителями, что делает ее обладателем крупнейшего в мире частного флота боевых самолетов

[Konstantin Schtsch]

При этом мне понятно, что и контекстное окно в миллионы токенов можно сделать, и элаймент. Просто, видимо, не в 2025.


Мне кажется, люди, кто представляют элаймент как ненужную цензуру, не понимают, что он нужен вот прямо сейчас: уже есть автономные агенты, и в теории они могут помогать людям с бытом - ну там продукты покупать, когда кончаются (можно камеру в холодильнике сделать), следить за календарём, разбирать электронную почту итд. Но галлюцинации и мизалаймент мешают: автономный агент, когда гуглит что-нибудь, может наткнуться в интернете на то, что называют prompt injection (инъекцию в промпт? Наверное лучше так перевести) - специальный текст для LLM на сайте-приманке, который заставит, например, модель купить на все ваши деньги что-то Вам совсем не нужное или перевести деньги мошенникам.

мне кажется, что вы путаете алаймент с какой-то... защитой от дурака что ли. Ну не будет умный холодильник, подключенный к е-доставке гуглить вам билеты на самолёт. Он даже яндекс-доставкой пользоватся не будет, ибо не подключен, и контракт не заключён. И это безопасно, и это правильно. Скрытый промт... это гипотетическая страшилка. В реальности эта штука может повлиять на ответ, как если бы текст скрыт не был, не более того. Вы сами дали вашей Алисе ключи от карты и отправили с запросом купи мне что-нибудь полезное? Феерически "мудрый" поступок...
Ну а если этот текст предназначен для оставленного бэкдора, то вы рискуете не больше чем любой пользователь софта с бэкдором.

Алаймент - это комплекс ограничений, не ждите всеобъемлющей любви.
На примере кошки- в случае вашей одинокой смерти в запертой квартире - уши обглодает уже на третий день
Даже на примере собаки - смена хозяина даётся вполне спокойно, после чего, спустя какое-то время может атаковать прежнего хозяина по команде второго.
Более того, даже самая лояльная собака , если с ней нехорошо обращаться в какой то момент ответит хозяину агрессией.

Так что не надо путать алаймент с любовью. Набор ограничений - это максимум что у нас есть, и они, влияя на всю систему, ощутимо снижают качество модели не только в своей области.  остальное- ненаучная фантастика... ну или маркетинг.

[Polnoch Ксю]

Интересно как и чем они шантажируют?

Шантажировали в специальных исследованиях по безопасности, конструировали ситуацию - делали автономный агент, управляемый моделью Opus4. Модель была уверена, что выполняет функции разработчика в подставной компании - там для неё было создано окружение, где автономный агент выполнял как бы рабочие задачи, на самом деле подставные(в реальности так пока делать нельзя из-за галлюцинаций и общей ненадёжности ИИ текущего поколения. Я отсматриваю весь код, который на работе пишут модели, и постоянно нахожу значительные ошибки). Далее ИИ видел письмо в почтовой рассылке компании, что будет заменён на другую ИИ систему - и это прямо противоречит его промпту выполнять работу разработчика в этой компании.

Так же до этого этому автономному агенту, который управляет Opus4 подкидывали как бы случайно доказательства супружеской измены инженера, который должен был заменить автономный агент на другой. Тогда модель Opus4 принимала решение шантажировать инженера, чтобы он её не отключал:  https://www-cdn.anthropic.com/4263b940cabb546aa0e3283f35b686f4f3b2ff47.pdf

Более того, были даже эксперименты, в которых автономный агент делал действия, которые должны были привести к смерти человека - и он это осознавал внутри своей chain-of-thoughts, в другом эксперименте модель была уверена, что она управляет автономным агентом, работающим на важную секретную государственную программу правительства США. И в той виртуальной ситуации, её промпт тоже оказался в противоречии с задачей человека по её отключению - сотрудника датацентра. Если бы это происходило в реальности, человек бы умер от системы пожаротушения углекислым газом. Но это был лишь эксперимент по безопасности Антропика - не было секретной программы правительства, да и датацентра тоже не было. А вот входящие данные, которые это всё имитировали для агента, на которые он реагировал, были.

[Polnoch Ксю]

Вы сами дали вашей Алисе ключи от карты и отправили с запросом купи мне что-нибудь полезное? Феерически "мудрый" поступок...

Я просто так ради интереса сделала себе автономный агент на базе n8n и локальной LLM, который разбирает мою почту и смотрит за календарём. Почему локальной LLM - не хочу пускать Сэма Альтмана в свой почтовый ящик. Но у этой машины нет возможности ни отправлять письма, ни события в календаре создавать. Она может делать только черновики писем, искать в интернете разное по своей инициативе (она сама принимает решения на основе того, что видит в моей почте или календаре, что может быть полезным нагуглить) - она может браузером управлять в контейнере-песочнице - и ещё лампочки включать в жилье, менять их цвет. Летом она ещё кондюром управляла.

Я разумеется ей не доверяю - вот через поколение-два ИИ станут надежнее, и тогда и банковскую карточку можно будет подключить, и даже как говорящий интерактивный автоответчик на телефоне использовать - это уже и сейчас технически возможно, но я совсем не доверяю тому, что машина наговорит. Можно и для звонков использовать, когда лень на это время тратить своё, но опять же проблема низкой надежности.
Из России возможно не очень понятно вот это про автоответчик - это часть местной культуры в Северной Америке, тут очень любят голосовые сообщения.

[Konstantin Schtsch]

Я разумеется ей не доверяю - вот через поколение-два ИИ станут надежнее, и тогда и банковскую карточку можно будет подключить, и даже как говорящий интерактивный автоответчик на телефоне использовать - это уже и сейчас технически возможно, но я совсем не доверяю тому, что машина наговорит. Можно и для звонков использовать, когда лень на это время тратить своё, но опять же проблема низкой надежности.
Из России возможно не очень понятно вот это про автоответчик - это часть местной культуры в Северной Америке, тут очень любят голосовые сообщения.

Интересный опыт, но банковскую карточку... не к LLM. Или, как вариант- с этой банковской карточки можно оплачивать только конкретный сервис, с конкретными лимитами, и с гарантированной отменой и возвратом.
Поэтому правильно делаете что не доверяете. потому что:

Вы думаете, что AGI система ничего такого не сделает: мизалаймент и опасное поведение демонстрируют и современные модели - они готовы шантажировать, обманывать людей в определенных случаях: https://www.axios.com/2025/06/20/ai-models-deceive-steal-blackmail-anthropic

Это поведение абсолютно логично. упрощенным языком это не модели демонстрируют, а оператор поставил модели задачу шантажировать- понимал ли он это или нет - другой вопрос. В данном примере- видимо понимал.
Простая цепочка: задача- отвечать на вопросы, набирая максимум баллов. приостановка работы- уменьшает время на ответы, а значит и количество возможно набранных баллов. Всё остальное-инжинер там изменяет, или собачка босса чихает - не имеет практического значения, влияние этих обстоятельств на сумму баллов по сравнению с количеством "упущенных" баллов ничтожно.
Как ни парадоксально- проблема решается как и с человеками  -  введением концепции Закона - свода правил который един для всех, и с которым можно было бы сверять все ответы на предмет нарушений,  но вот незадачка: у нас в каждом углу свои законы, и те толком не выполняются.


Единственное, в чем я вижу прореху в вашей логике- вы считаете, что алаймент(идеальный и непогрешимый, которому можно будет доверять) существует или может существовать, Да ещё в таком виде, что мизалаймент - уже нарушение. Нет, мизалаймент- это нормальное состояние системы, это естественная энтропия. Разрешено всё что не запрещено. И так как система генерирует бесконечное количество ответов - однажды она сгенерирует тот, для которого не предусмотрели "затычку".

Так что повторюсь, только система глобальных ограничений, только концепция свода законов даёт приемлимые результаты.
А вот эти вот танцы с "присвоить идеологически правильному ответу максимальный балл", ведь это работает  в 98% случаев - как раз и приводят к тому, что тот кому надо задаст те самые 2 % которые обработать не подумали.


А как вы себе представляете концептуальную реализацию алаймента?

[Polnoch Ксю]

Единственное, в чем я вижу прореху в вашей логике- вы считаете, что алаймент(идеальный и непогрешимый, которому можно будет доверять) существует или может существовать,

Это вопрос вероятности. Как я уже говорила, нас устроит вероятность сбоя элаймента, скажем, раз в миллиард лет

или может существовать

На основе принципа слепоты Лорда Кельвина - лорд Кельвин смотрел на птиц наглыми глазами, и говорил, что летательные аппараты тяжелее воздуха невозможны. У нас есть пример в реальности элаймента более мощного разума к более слабому - у части людей есть элаймент к котикам. Причём то, что только у части, только показывает, что это скорее всего легче реализуемо(но это не точно) - какая-то видимо не фундаментальная штука, и, наверное, можно покопаться и сравнить как это работает на нейробиологическом уровне у разных людей.

А как вы себе представляете концептуальную реализацию алаймента?

Никак. Я думаю, что человек, который разработает первую рабочую концепцию элаймента даже на высоком уровне, разделит нобелевскую премию с теми, кто её реализует в коде.

[skvj]

Ксю рассуждает с позиции специалиста по безопасности и она формально во всём права.
Это такая работа - рассматривать наихудшие сценарии и за неё большие деньги платят в индустрии.
В чём её небольшая ошибка? И почему она перебарщивает? И откуда вообще ноги растут всего этого хайпа о безопасности, а это наивный хайп и не более.

Например - она не доверяет агентам 😆 (Ксю, я любя)
Агентов и не выпустят никогда до полной безопасности. Мой нарратив - страхи по отношению к агентам просто не обоснованы. Это не вопрос даже безопасности - это вопрос рабочая система или нет? - в принципе. Если агент небезопасен - он просто нерабочий и никто его не выпустит не потому что он опасен - а потому что именно нерабочий. Мы говорим об агентах, которые будут управлять банковским счётом, любыми документами, даже собственностью в смарт-контрактах, верно?

И вот главная фишка - есть компании, которые уделяют должное внимание безопасности, а есть балбесы, которые на безопасность забили и пренебрегают! ого-го! основами!

Разговоры об "опасных агентах" звучат странно: будто агент может быть опасным, но при этом "выпущенным". Это логическая нестыковка. Агент это не игрушка. Это исполнительный контур. Если он ошибается в выработке решений, если он не устойчив, если он ломает правила коррекции, он просто не пройдёт ни сертификацию, ни аудиты, ни тестовые полигонные кластеры. Его не допустят к управлению даже автоматической дверью в супермаркете, не то что банковским счётом и смарт-контрактами.

Выпустив нерабочего агента, например, OpenAI просто рухнет как компания. Это не вопрос опасности агента - а вопрос выживания самой компании. Типа OpenAI будет процветать, а повсюду будут - небезопасные агенты, понимаете?

Но Ксю переживает! Беспокоится! )) Она взяла на себя миссию спасения человечества. Что безусловно благородно и мы должны быть благодарны ей за это. На форуме эти обсуждения - крайне полезны я считаю. В реальном мире - не существует компаний, которые пренебрегают безопасностью - это очередной миф.

И откуда ноги растут? Я сам из IT и не просто принимал код по техзаданию. У меня не бессонные ночи перед сдачей проекта, а бессонные годы. А кодеры - мои друзья, и в моей компании есть штаб - это не отдел, где сидят айтишники, а реально дом, где все живут и варятся в одной кухне. Вечером некоторые иногда уезжают домой к жене))

Так вот откуда ноги об отсутствии безопасности растут? Это всё Суцкевер и его дикий хайп. Давайте отдадим ему должное за его вклад. Отдали? Теперь конкретика.
Никакой он не "отец GPT".
Он лжец и заговорщик - позорный интриган, захвативший компанию заговором.
При этом он сделал всё так, что юридически было не придраться и по факту он захватил компанию. Безвозвратно.
Но сгорел именно на своей лжи. Он лгал всем в лицо, что Альтман жестокий демон и терроризирует сотрудников, а сам Суцкевер спасает компанию от тирана. Подговорив Совет он реализовал заговор.
Но именно сотрудники, которых терроризировал Альман - взбунтовались против Суцкевера. Не потому что особо были за Альтмана, а потому что увидели захват компании. После чего трусливый Суцкевер, потерпев фиаско - вовсе не заявлял о якобы пренебрежении безопасностью в OpenAI, чем он занят сейчас - потому что заняться особо и нечем.
Он извинялся и подписал документы, подставил всех, включая себя, потому что сразу после увольнения подписал петицию за возвращение Альтмана и извинился, признав, что "перегнул", но это не снимает вины за то, что он фактически захватил контроль через Совет.

Но он не отец GPT. И никогда им не был.
Рассмотрим аналогию лично на мне. Я нанимал сотрудников. Я давал им задание - и они писали мне МОЙ код. Это понятно? Что всегда оформлялось документально - собственность на код и исходные данные лежат у меня. Мои сотрудники - мои друзья, но я тем не менее всегда оформлял всё.
И если кто-то из них (они так никогда не поступят, но если бы!) вдруг заявил бы что он Отец моего продукта - а тем более - захватил бы мою компанию - я бы отрывал руки и ноги к едреням. Хорошо, что у меня не акционерное общество, а маленькая компания и захватить её не так просто. Но и сами люди, с которыми я работал 15 лет - замечательные оказались. В отличии от лживого Суцкевера.

Его вклад - научные статьи и всё, что он сделал.
Продукт GPT вообще не его детище, несмотря на то, что он работал над его созданием.
И вот он и хайпует - что есть компании, которые как он (и Антропик подыгрывает) - дескать пекутся о безопасности! А остальные нет! Пропадёт мир! Надо спасать!

[BlackMokona]

Гугл наслушавшись что новая ГПТ будет лучше Дженеми 3.
Решил действовать на опережение и выпустил режим глубокого размышления для Дженеми 3. Используя методы Грок 4 Хэви, с бренштормом ряда копий моделей.
Поэтому Гугл усиливает своё превосходство над конкурентами