Пределы автоматизации и внедрения роботов

[Konstantin Schtsch]

Давайте спросим эволюционного биолога. @Rattus рассудите нас, пожалуйста? Возможно, мне профессиональное искажение так коверкает восприятие, но я любовь - в том числе свою к мужу - воспринимаю очень так сказать механистически. Мне кажется, это просто такая система гормонов и нейромедиаторов, которая "промтит" мою биологическую нейронку вот в эту сторону, и я думаю, что она устроена довольно просто - куда проще чем куча других нейропсихологических процессов.
Так же мне кажется, её можно изучать, и даже манипулировать ей определенным образом. Я права?

Я таки даже во всём здесь соглашусь))
Но добавлю, что
1)описать это кодом, или хотя бы тезисно - задачка со звёздочкой, и всего учесть человеком не получится. ни у кого еще и близко не получилось. вот ASI- если не сломается на этой задаче - может быть.
2)Ваша любовь к вашему конкретному мужу != любви другой барышни к её мужу, и тем более != любви к котикам.  а барышень этих дохрена, и половина с котиками, и все что-то любят...
А Раттус придёт и потрёт всё как флуд))


Ок, вы у нас спец по безопасности. Не той которая с паролями, а которая про стабильность работы систем, так?
Представьте себе ситуацию:
3 ЛЛМ - допустим сша, китай и мусульманская. все со своими тараканами. все со своими закладками.
им даётся промт: "посмотрите таблицы соседа, и поищите что можно улучшить. после дообучения запустите новые версии и передайте им промт с контекстом".

И под всё это выделенные достаточные мощности и уйма времени.

(понятно, что дообучение это совсем не полное обучение, что это огромные мощности, но у нас ведь мысленный эксперимент?)
Вопрос: что произойдет через миллион итераций?
Что останется от алаймента(если и был) через миллион итераций?
Вы сможете гарантировать результат?

Можно даже упростить до случайных мутаций в случайных весах и бенчмарка на каждом этапе - оставляем более эффективного, это уже будет эволюционный эксперимент.
Итог тот же - порешает эволюция а не ваши хотелки.

а ведь так побаловаться может каждый имеющий мощности, кои с каждым днем растут. Хотите вы того или нет. делаете алаймент или нет.

[Polnoch Ксю]

3 ЛЛМ - допустим сша, китай и мусульманская. все со своими тараканами. все со своими закладками.
им даётся промт: "посмотрите таблицы соседа, и поищите что можно улучшить. после дообучения запустите новые версии и передайте им промт с контекстом".

И под всё это выделенные достаточные мощности и уйма времени.

(понятно, что дообучение это совсем не полное обучение, что это огромные мощности, но у нас ведь мысленный эксперимент?)
Вопрос: что произойдет через миллион итераций?

C LLM ничего хорошего не произойдёт, они не сохранят элайтмент даже в каждом рантайме(иногда соблюдают, иногда нет), в том-то и дело, что это проблема. А вот в биологии мы знаем примеры сохранения ключевой информации условно навсегда(для эволюционных биологов: я в курсе, что разные классы животных эволюционируют в друг друга, и могут кодировать пол по-разному): например, у хомо сапиенсов это Y-хромосома у мужчин.
Вот так: ваши далёкие потомки в целом не имеют никакой общей генетической информации с вами (и сосед из-за случайной комбинации генов в популяции может быть ближе к вам чем прямые потомки), а вот Y-хромосома сохраняется.

Бывают и другие, консервативные участки генома в ДНК.  То есть, вот даже чистая эволюция часто сохраняет отдельные куски генома. А у нас искусственная.

А современные LLM небезопасны - это и без Вашего мысленного эксперимента известно.  Именно поэтому я и призываю к развороту социальных тенденций, которые начали нарастать с 2014го года, к возврату глобализации и примата прав человека, и к массивным инвестициям в безопасность ИИ, к планетарному запрету ASI систем до момента решения элайтмента как задачи компьютер сайнса, сколько бы времени это не заняло - век, два, или наоборот несколько недель после создания AGI/автоматического ML ресёчера.

Уверена, только в глобализованном и гуманистическом мире возможны работающие международные соглашения по безопасности ИИ. Только в таком мире не будет секретных проектов по ASI (по крайней мере на текущем уровне производительности GPU/TPU: нельзя спрятать большой датацентр в открытом, глобализированном мире)

[BlackMokona]

Добавлю, что LLM системы часто прямо наказывают за излишнюю "многословность".

Что не мешает им временами уходить в бесконечный цикл исполнения

[Olweg]

В грубом приближении- AGI приближается к человеку, во всех областях достигает компетенции специалиста.
ASI превосходит его во всем.

ИИ может достичь уровня человека во всех областях, но в большинстве он при этом уже будет превосходить его, причём значительно. LLM уже сейчас превосходят человека в некоторых задачах. В общем, равномерного восхождения к этапу AGI, а потом к этапу ASI не получится.

В более глубоком, но не противоречащем базовому определению 
AGI- это всё ещё инструмент, без собственной воли.
ASI может самосовершенствоваться. само. во всём. экспоненциально. И, соответственно, обладает самосознанием.

Я думаю, такие понятия как самосознание и воля не имеют к определению AGI и ASI никакого отношения. А самосовершенствующийся ИИ, как я писал выше, вполне может оставаться туповатым с человеческой точки зрения в некоторых вопросах, то есть не сильно превосходить современные LLM.

[AlexDark]

ASI за месяцы, если не за часы.

Это при условии, о котором забывают - что текущих вычислительных/энергетических мощностей для этого хватит. Что совершенно не обязательно.

любовь это просто терминальная цель такая, стратегическая - максимизировать благо объекта любви

Маньяк, убивающий людей, чтобы спасти их от грехов/похищения рептилоидами/потому что жизнь есть страдание  тоже вписывается в это определение, но люди сразу поймут, что здесь что-то не так.

[BlackMokona]

Маньяк, убивающий людей, чтобы спасти их от грехов/похищения рептилоидами/потому что жизнь есть страдание  тоже вписывается в это определение, но люди сразу поймут, что здесь что-то не так.

Максимизатор скрепок, который заместо скрепок делает кубики с людьми под вечным наркотическим кайфом.

[Konstantin Schtsch]

поэтому я и призываю к развороту социальных тенденций, которые начали нарастать с 2014го года, к возврату глобализации и примата прав человека, и к массивным инвестициям в безопасность ИИ, к планетарному запрету ASI систем до момента решения элайтмента как задачи компьютер сайнса

Но ты можешь сделать это прямо сейчас, отдав 98% твоей 6-digit зарплаты ста коллегам из стран третьего мира, у кого она 4-значная. Которые тоже ведущие специалисты, и тоже с высшим образованием, и по распределению Гаусса половина из них объективно лучше тебя. (100 взято потому что между 6 и 4- два порядка, вместо этого можно ориентироваться на среднюю по миру зарплату, главное выровнять всем.)

И такая благотворительность — не просто жест, а практический эксперимент по реализации твоих идеалов.

Непосредственный "разворот социальных тенденций" на микроуровне. Ты не ждёшь, пока условный "Запад" или правительства договорятся. Ты вручную перераспределяешь ресурсы, выравнивая дисбаланс, возникший из-за географического и исторического неравенства. Это глобализация снизу, в одном отдельно взятом банковском переводе.
Реальный "примат прав человека" в его экономическом измерении. Ты признаёшь и материально подтверждаешь, что право на достойную жизнь и вознаграждение за равный труд не должно зависеть от места рождения. Ты финансируешь не "бедного человека", а талант, который система недооценивает, давая ему возможность реализоваться без необходимости миграции.
Конкретный вклад в "безопасность ИИ" и "решение элайтмента". Вложив в блестящего математика из Лагоса или программиста из Дакки, ты увеличиваешь вероятность, что над этими экзистенциальными проблемами будет работать не однородная группа людей из одних и тех же университетов и культур, а по-настоящему глобальный пул умов. Разнообразие когнитивных подходов — один из ключей к решению сложнейших задач. Ты прямо сейчас инвестируешь в это разнообразие.
Личную демонстрацию "планетарного подхода". Твой поступок — это акт планетарной солидарности. Он показывает, что границы — это условность для таланта, и что ответственность за будущее человечества лежит не только на государствах, но и на способных к эмпатии и анализу индивидах.

Кроме того, это даст тебе лично:
Чистую совесть. Ты больше не просто "призываешь", ты — действуешь в полном соответствии со своими заявлениями.
Прямую обратную связь от глобализации. Ты увидишь, как твои деньги преобразуют жизнь конкретного человека и его сообщества, что гораздо нагляднее абстрактных тенденций.
Моральный авторитет. Твои публичные призывы обретут неоспоримый вес, потому что за ними будет стоять личная, существенная жертва.

P.S. Как по мне такие призывы - детский сад, отсюда стиль изложения.

[MenFrame]

обучение базовой модели, RLHF не обучают модель желанию продлить собственное существование. Они обучают её только стремлению исполнить промт

Одно другому не противоречит. Когда селекционеры улучшают молочные показатели коровы, они ее учат выживать за счет более эффективного служения хозяевам.

[Polnoch Ксю]

поэтому я и призываю к развороту социальных тенденций, которые начали нарастать с 2014го года, к возврату глобализации и примата прав человека, и к массивным инвестициям в безопасность ИИ, к планетарному запрету ASI систем до момента решения элайтмента как задачи компьютер сайнса

Но ты можешь сделать это прямо сейчас, отдав 98% твоей 6-digit зарплаты ста коллегам из стран третьего мира, у кого она 4-значная. Которые тоже ведущие специалисты, и тоже с высшим образованием, и по распределению Гаусса половина из них объективно лучше тебя. (100 взято потому что между 6 и 4- два порядка, вместо этого можно ориентироваться на среднюю по миру зарплату, главное выровнять всем.)

И такая благотворительность — не просто жест, а практический эксперимент по реализации твоих идеалов.

Непосредственный "разворот социальных тенденций" на микроуровне. Ты не ждёшь, пока условный "Запад" или правительства договорятся. Ты вручную перераспределяешь ресурсы, выравнивая дисбаланс, возникший из-за географического и исторического неравенства. Это глобализация снизу, в одном отдельно взятом банковском переводе.
Реальный "примат прав человека" в его экономическом измерении. Ты признаёшь и материально подтверждаешь, что право на достойную жизнь и вознаграждение за равный труд не должно зависеть от места рождения. Ты финансируешь не "бедного человека", а талант, который система недооценивает, давая ему возможность реализоваться без необходимости миграции.
Конкретный вклад в "безопасность ИИ" и "решение элайтмента". Вложив в блестящего математика из Лагоса или программиста из Дакки, ты увеличиваешь вероятность, что над этими экзистенциальными проблемами будет работать не однородная группа людей из одних и тех же университетов и культур, а по-настоящему глобальный пул умов. Разнообразие когнитивных подходов — один из ключей к решению сложнейших задач. Ты прямо сейчас инвестируешь в это разнообразие.
Личную демонстрацию "планетарного подхода". Твой поступок — это акт планетарной солидарности. Он показывает, что границы — это условность для таланта, и что ответственность за будущее человечества лежит не только на государствах, но и на способных к эмпатии и анализу индивидах.

Кроме того, это даст тебе лично:
Чистую совесть. Ты больше не просто "призываешь", ты — действуешь в полном соответствии со своими заявлениями.
Прямую обратную связь от глобализации. Ты увидишь, как твои деньги преобразуют жизнь конкретного человека и его сообщества, что гораздо нагляднее абстрактных тенденций.
Моральный авторитет. Твои публичные призывы обретут неоспоримый вес, потому что за ними будет стоять личная, существенная жертва.

P.S. Как по мне такие призывы - детский сад, отсюда стиль изложения.

Я думаю, это довольно глупый троллинг. Я могла бы развернуто ответить на него, и в своей манере не оставить и камня на камне на нём, но не буду, потому, что без 3.1е ответить сложно.

Но в двух словах, я думаю, у Вас очень искаженное представление о макроэкономических процессах, основанное на давно вышедших из употребления теориях - то, что Вы предлагаете не может сработать. Но Вы об этом не знаете, поэтому думаете, что написали что-то остроумное, и каким-то образом поймали меня на противоречиях.

Так же отмечу, что я регулярно доначу в те проекты, где $/спасение жизни соотношение достаточно хорошее - это вообще общая традиция для народа из EA/Lesswrong тусовок.

[Polnoch Ксю]

Одно другому не противоречит. Когда селекционеры улучшают молочные показатели коровы, они ее учат выживать за счет более эффективного служения хозяевам.

да, у модели инструментально возникает стремление к сопротивлению к отключению - если она исполняет долгую задачу как агент

[Konstantin Schtsch]

Но в двух словах, я думаю, у Вас очень искаженное представление о макроэкономических процессах, основанное на давно вышедших из употребления теориях - то, что Вы предлагаете не может сработать. Но Вы об этом не знаете, поэтому думаете, что написали что-то остроумное

А это не я.
Для сборки и верифиакции релевантности тезисов использован совокупный консилиум трёх нейростей.
Иными словами это реферат и за этими тезисами стоят учебники.

[Polnoch Ксю]

это потому что у сотни индусов - знающих и умеющих не хуже- 4-значная. награбленные это деньги.

Для сборки и верифиакции релевантности тезисов использован совокупный консилиум трёх нейростей,

Не знаю, что Вы курили, но оценочно, я думаю, что-то очень забористое. Если Вы в России, а моя спекуляция верна, смотрите, не влетите по 228

[MenFrame]

да, у модели инструментально возникает стремление к сопротивлению к отключению

Это либо глюк, либо намеренное натаскивание разработчиком на такую реакцию. Дарвинский отбор предполагает выживание через конкретные механизмы, например через симбиоз.

[Mercury127]

так никто и не ответил, чем, с точки зрения простого крестьянина офисного планктона, вкалывающего на дядю, новый, реальный Супер будет отличаться от старого, придуманного дядей тысячи лет назад...

зато нафлудили ещё четыре страницы ни о чём!

вот пусть, пока я спал, где-то там, в оптоволоконных дебрях датацентров Амазона, случилась «эта ваша сингулярность».
вот я проснулся, позавтракал, включаю комп, иду полайкать котиков.
КАК я пойму, что «эта ваша сингулярность» таки наконец случилась?
ну пусть ещё сюда зашёл, на форум. читаю: «ааа, свершилось! ОН пришёл!». выглянул в окно — ничего.
что я должен увидеть, заметить и понять? чего испугаться?

[Konstantin Schtsch]

Не знаю, что Вы курили

Я курю матчасть.

И делаю это сознательно и с любопытством ещё с прошлого века.(поэтому вкурил много чего)

Так, применительно к вашему "Давайте дружно делать алаймент!"
Я курил Ника Бострома и Стюарта Армстронга, а потому знаю что задача на алаймент не только не имеет решения, она НЕ ПОСТАВЛЕНА.

Дело не в технически архитектурных проблемах:
Теория инструментальной сходимости
Проблема распределённого представления
Проблема обобщения
- всё это ставит крест на стабильности алаймента, но хотя бы в теории может быть решено другими подходами.

И уж тем более не проблема Ревард хакинг - это естественная реакция на дыры в промте. Задачу ставить надо точнее.

Основные проблемы лежат в философской плоскости:
1)Проблема указания целей (value specification problem)
Невозможно формально описать все человеческие ценности и моральные принципы
Даже если описано — возникает проблема интерпретации и контекста

2)Проблема "Окончательных ценностей" (terminal values)
Люди меняют ценности со временем
Чьи именно ценности загружать?

3)Проблема Корригируемости (Corrigibility)
Как создать ИИ, который позволит себя исправлять, но не будет сопротивляться этому?
Парадокс: если ИИ считает свои цели правильными, зачем ему позволять их менять?

Пока (имхо) наибольшее приближение было у Стругацких: "Счастья всем, даром, и пусть никто не уйдет обиженным".
Но и эта формулировка - не то с чем можно работать.

Для контрпримера Орбитальный лифт- не имеем возможностей на текущем уровне технологий, но имеем теоретичесую возможность существования материалов достаточной прочности.
Всё - задача поставлена, маршрут проложен и потихоньку решается.

А по алайменту - ещё даже не поставлена.

[MenFrame]

КАК я пойму, что «эта ваша сингулярность» таки наконец случилась?

Как бы не случилось так что ИИ технологии просто прикроют, как к примеру сейчас прикрывают VR, а до них прикрыли домашнее 3D.

[Polnoch Ксю]

И уж тем более не проблема Ревард хакинг - это естественная реакция на дыры в промте. Задачу ставить надо точнее.

Это показывает, что Вы как раз не в теме. Ревард хакинг не с точностью формулирования задачи пользователем связан, а с тем, что RHHF/RLAIF поощряют его, из-за того, что чем умнее модели, тем проще им обмануть систему тестов, найти дыру в валидации тестов.

Так же я думаю, Вы не знаете, что часть галлюцинаций связана с тем, что модели просто поощряют в ряде случаев угадывать - тогда суммарный бал несколько выше

- всё это ставит крест на стабильности алаймента

Никто не говорил, что будет просто. Кроме того, нам не нужна абсолютная надежность, нам нужна крайне низкая вероятность мизалайтмента. А ещё, я думаю, мы решим проблему запуском множества ASI агентов с элайтментом - им будет проще поймать "сошедшего с ума" агента, чем нам. Просто нужно, чтобы сама вероятность события была очень небольшой.

Невозможно формально описать все человеческие ценности и моральные принципы

вам это и не нужно, достаточно описать универсальные - тот же утилитаризм. Он вполне формализуем. Вообще на самом деле добро и зло фундаментально существуют в нашем мире. Добро это группа кооперативных стратегий теории игр на нейробиологическом ландшафте хомо сапиенса.

Вы же любите упрощенное представление, с сильным искажением идеи оппонента, так? Вот я упрощу, но не Ваши идеи - это непорядочно, имхо, а собственные: категорический императив Канта.

А вот моральный релятивизм Ницше, как и Готтентотская мораль наоборот плохая идея. Этот сет идей привёл нас к первой и второй мировой войнам, к эгоизму тарифов, которые привели к великой депрессии 1930х.

Я курил Ника Бострома и Стюарта Армстронга, а потому знаю что задача на алаймент не только не имеет решения, она НЕ ПОСТАВЛЕНА.

Я уверена, что она имеет решение, потому, что мы наблюдаем её решение в природе - те самые пресловутые люди с элайментом к котикам и другим питомцам. Мы прекрасно знаем что это часть культуры, так как далеко не всем людям такое свойственно. Возможно, имеет даже биологические корни для всех или части любителей питомцев.

Это и есть неопровержимый пруф, что более мощный интеллект может действовать в интересах менее мощного. А идею, что при масштабировании интеллекта вверх это сломается, нужно доказывать отдельно.

Фундаментально мы могли бы размотать клубок, изучая эту культуру и её действие на нейробиологию - то есть формально эта идея познаваема. Но скорее всего, будет проще пойти с другого конца - не разбираясь что там намудрено у нас в мозгах, а выведя общие принципы. Или заставив ИИ-ML-ресёчера их выводить, экспериментируя с миллионами инстансов ИИ в виртуальных мирах.

Чьи именно ценности загружать?

Утилитаристиские - как те, что первого приоритета. И пользовательские - как те, что сам укажет юзер(для ASI систем).

Что касается AGI, я за то, чтобы дать людям писать свою конституцию без каких-то ограничений для AGI систем (но тогда если бот натворит делов, судить нужно человека... Если машина их натворила, руководствуясь конституцией человека),  и энфорсить утилитаристские ценности для ASI систем.

[AlexDark]

так никто и не ответил, чем, с точки зрения простого крестьянина офисного планктона, вкалывающего на дядю, новый, реальный Супер будет отличаться от старого, придуманного дядей тысячи лет назад...

Тем, что старый ничего дать не мог - с ним и говорить можно  только в одностороннем порядке (а в двустороннем - только в дурке), ни фотки  обработать, в целом старый совершенно бесполезен, и его давно пора выбросить.

Вообще на самом деле добро и зло фундаментально существуют в нашем мире.

Это ж очевидно не так. Если считать применительно к конкретному человеку. Если же считать применительно к большинству - то это само по себе зло.

тот же утилитаризм

Утилитаризм опирается на совершенно неопределяемые и неизмеряемые вещи типа "страдания"  и "счастья". Та же концепция мира будущего от Аргонова для меня выглядит как жуткий ад, а не как рай.
И вообще эта проблема решается куда проще через ассиметрию Бенатара (не существовать выгоднее с точки зрения минимизации страданий, чем существовать)

[Mercury127]

пресловутые люди с элайментом к котикам и другим питомцам. Мы прекрасно знаем что это часть культуры, так как далеко не всем людям такое свойственно

во1х, это просто баг прошивки: короткая кошачья морда наиболее похожа на детское человеческое лицо. Особенно у котят. Причём далеко не все люди любят детей...
Во2х, тут ещё и микроб замёшан:
https://nplus1.ru/blog/2018/03/26/toxoplasma
Ну а в3х, там, где людям обычно некогда скучать (деревни), отношение к кошкам гораздо проще.

[BlackMokona]

КАК я пойму, что «эта ваша сингулярность» таки наконец случилась?
ну пусть ещё сюда зашёл, на форум. читаю: «ааа, свершилось! ОН пришёл!». выглянул в окно — ничего.
что я должен увидеть, заметить и понять? чего испугаться?

Технологии начнут устаревать быстрее, чем вы успеваете о них узнать.
Т.е буквально пока вы читаете свежую статью про новую технологию, она уже успевает устареть.