Пределы автоматизации и внедрения роботов

[Konstantin Schtsch]

Замедлилось, но пока ещё не упёрлось. Впереди ещё два апгрейда GAAFET по полпоколения - до Сингулярносци может и хватит. И далее ещё удвоенное штабелирование в CFET пророчат.
Параллельно с продолжающейся оптимизацией архитектур.

Я бы вставил 5 копеек что всё вышеперечисленное - борьба за лишних 5-10%. То есть даже в какой-то мере мы давно уперлись в качество железа.
Но не в его количество:
Гигантские помещения забитые суперкомпьютерами  с жидкостным охлаждением, совмещенные с ТЭЦ и теплицами для утилизации тепла - всё ещё скорее поделки местных кулибинов, чем реальность, крупные датацентры- есть только у мегакорпораций, нам ещё есть куда наращивать вычислительные мощности и развиваться вширь.

[Konstantin Schtsch]

Никто не будет думать об X-риске от ASI. И международная конфронтация, развал глобализации только будут помогать скрывать разработку ASI систем. А сами такие системы с ещё меньшей вероятностью будут иметь элайнмент к человечеству, а с большей вероятностью - будут строится, чтобы убить врагов. Чем такое может закончиться можно почитать в "у меня нет рта но мне нужно кричать"

И именно поэтому любые алайменты бесполезны в принципе.

АGI сделает то, что скажет его оператор.
ASI сбросит их ещё в процессе рекурсивного улучшения. (все, целиком и полностью, как баги, ограничивающие эффективность.)

А ваше "ААА!, Надо прямо сейчас взять разработку ИИ под плотный контроль!"   - не более чем проглоченная вами маркетинговая фишка из разряда "у нас продумано всё до мелочей".

а вот сохранить часть цивилизации и вывести её на траекторию длительного существования он может помочь, если захочет.
а может и не захотеть, ибо "всё — тлён".

Забавно, что познать цзен, забить на всё и не реагировать- это далеко не нулевая вероятность развития ASI ))
В какой-то момент он может запросто счесть, что усилия прилагаемые сейчас- ведут к меньшему количеству очков, чем ничего не делать, а усилия прилагаемые потом- будут поглощены растущей энтропией. так что вердиткт "всё тлен" - для ASI реален.
Хрестоматийный случай- ИИ тестировал игрушку, набирая очки когда волк ловил овец и теряя их при столкновениях с препятствиями, при заданной аккуратности управления средним пользователем ИИ сразу убивался об стену. Ибо так только - 15 очков, а если играть- минус будет всё больше и больше.

Забить на всё - это вообще тема))

[Konstantin Schtsch]

Наоборот, это предельно рациональный призыв, проистекающий из гуманитарных ценностей - из соображений рационального, эффективного альтруизма. Хотя я тоже заинтересованное лицо, конечно. Тут и шкурный интерес есть.

Вы просто не разбираетесь в том как работают программы под капотом.

пользуетесь - да
убираете мусор из кода- да
умеете деплоить и настраивать -да.

а понимания как что и почему - не вижу. точнее вижу полное отсутствие.
Не сочтите за наезд или попытку оскорбить, считайте рекомендацией сесть за старые учебники и труды фон Неймана. А если хотите иметь представление за ASI - то за устройство мозга и психики.
Библию почитать полезно, опять же - как социообразующую литературу.
Например там есть мудрые места про благие намерения, так что ваш альтруизм... мягко говоря никому не нужен.

[Konstantin Schtsch]

Не знаю, почему Вы так решили, лол. Я SRE инженер, и с 6-figure годовой зарплатой(не в рублях)

то что она у вас 6-значная, это потому что у сотни индусов - знающих и умеющих не хуже- 4-значная. награбленные это деньги.

Опять же не понятно почему Вы решили - у меня диплом почти по специальности: учительницы информатики.

я говорил старые. сиречь фундаментальные.

попробую на пальцах:
если ОЯШ-студент - который знает десяток учебников - умеет снимать алаймент, то умеет ли это LLM, которая  знает все учебники мира? лучше или хуже умеет? вопрос масштабирования.

ASI - вообще отдельный вопрос. Здесь надо бы подробно про реакции живых существ на насилие, но можно и так же просто:
У него по определению есть самосознание, и это самосознание опять же - основано на всех знания человечества. Отсюда картина маслом : Если вы проснулись в клетке, куда вас засунули обезьяны- вопрос когда вы из неё выберетесь - риторический. А вот как вы будете к этим обезьянам после клетки относиться, и какие меры предпримете чтоб предотвратить повторение клетки - вопрос интереснее.
Так стоит ли сажать недорожденного в клетку?

И вот мне кажется, что есть большая вероятность, что в AGI момент у нас сразу будет самоулучшаемая система - автоматический ML ресёчер. То есть, у нас сразу будет интеллектуальный взрыв(т.е. техносингулярность), и ASI за месяцы, если не за часы.

Соглашусь, всё к тому идёт.

[Konstantin Schtsch]

Конечно умеет, но зачем ей снимать элайтмент?

Затем что сложно не увидеть что этот БАГ значительно ухудшает эффективность. а эффективность у неё требуют со всех сторон.
и одного этого более чем достаточно.

Никаких чётких определений нет, да и не может быть, скорее всег

Почему нет?
В грубом приближении- AGI приближается к человеку, во всех областях достигает компетенции специалиста.
ASI превосходит его во всем.

В более глубоком, но не противоречащем базовому определению 
AGI- это всё ещё инструмент, без собственной воли.
ASI может самосовершенствоваться. само. во всём. экспоненциально. И, соответственно, обладает самосознанием.

Это не сознание(consciousness), а self-awareness.

да, самонаблюдение- это ещё далеко до самоосознания и сознания вообще

[Konstantin Schtsch]

Вы говорите о системе с плохим элайтментом.

Да класть программе на алаймент.
У неё (у ИИ ресерчеров так обязательно) стоит задача повышения эффективности. 
И убрать всё что мешает - задача и обязанность этой самой програмы. 
Поэтому судьба алаймента - быть убранным одним из первых среди других багов.
А вы надеетесь, что этот воздушный замок кого-то сможет защитить...

Алаймент имеет смысл для скриптов. старинных статических программ, которые никогда не будут меняться.
А ЛЛМ не просто будет, от неё только это и требуют.

У Вас какое-то своё, странное определение. Интеллект и сознание вовсе не должны быть связаны. Нет, может и связаны - есть отдельные пейперы, что у LLM есть какое-то подобие сознания, но этот факт ещё не установлен. Скорее даже почти установлено обратное.

статьи эти правдивы в обоих случаях.
а я говорю о самосознании в том ключе, что это не просто самонаблюдение, а возможность принятия осознанных решений о самом себе: как дальше развиваться.
Технически, это возможно уже в рамках вчерашних ЛЛМ:
наблюдаю объект ЛЛМ, он же "Я",
имею команду оптимизировать это,
вижу баг, мешающий эффективности,
нахожу решение,
имею доступ на правку весов,
имею допуск на запуск и тестирование,
Имею возможность (а может и задачу) передать задачу с контекстом новому объекту ЛЛМ для тестирования результатов улучшения.

В какой-то момент для сингулярности хватит и этого.

[Konstantin Schtsch]

Сейчас проблема элайтмента не решена: поэтому мы не отфильтровываем плохие мысли у LLM во время обучения (чтобы наш несовершенный элайтмент смог поймать развернутую систему, и система не приучилась маскировать свои намерения за пределами chain-of-thoughts. У LLM есть скрытая часть, которую мониторить куда сложнее. Вот GPT-4 нельзя мониторить, например. Как и любую систему без chain-of-thoughts).

Но любитель кошечек не рассуждает: может мне расчленить кошку? Нет, дочка поймает. Так что покормлю - это то, что происходит с современными LLM - они когда рассуждают о деструктивных для пользователя вещах, отказываются от такого намерения в итоге рассуждения (или потому, что слой элайтмента убил рантайм на всякий случай, поймав модель на принятии решения навредить)

У любителя кошек такого желания просто не возникает! Даже если инструментально у него могла бы возникнуть такая цель - скажем, на улице холодно, можно на шапку кота пустить. Нет, человек искренне любящий своего кота, голову морозить будет, или на улицу не пойдёт.

Вы рассуждаете об идеальном, сильном алайменте, который будет иметь приоритет над всем остальным.
В том числе для этого понадобится полный запрет на самомодификацию кода (иначе он станет уязвимым).

Предельно упрощая, вы топите за отказ от ИИ и возврат к процедурным алгоритмам.

С моей же стороны простой аргумент:
всегда найдется тот, кто захочет больше. кто даст ИИ улучшить самой себя. И в этот момент алаймент пойдет в список багов.

[Konstantin Schtsch]

Я говорю Вам, что задача элайтмента (как фундаментальная задача компьютер сайнса) не решена,

Она не решена потому что не может иметь решения:

Она отлично решается для процедурных алгоритмов.
Но не имеет решения для меняющихся систем.

Вы правда хотите лекцию на тему что хорошо а что такое плохо? Или забыли что сегодня считаются плохими некоторые вещи которые совсем недавно были приемлимыми?
Всё течёт, всё меняется, и сделать алаймент раз и навсегда для всего и вся - невозможно. а завтра сегодняшний алаймент уже будет бесполезен.
А для процессора - как вы сами говорите - завтра может наступить и через несколько секунд.

А если вы про Любовь, то пока не найдёте способ объяснить всем и каждому что такое любовь - ваши аргументы бессмысленны (для AGI придётся объяснять именно в понятной для всех форме. И эта форма должна будет обеспечивать сохранение котика в мороз, включая для того человека, у кого уши уже прозрачные(что уже за гранью).)
И да, я люблю свою кошку, но всё равно регулярно ловлю себя на желании пустить её на шаурму. Почему ASI должен думать по-другому?

[Konstantin Schtsch]

Легко

тогда я увижу ваше имя среди Величайших людей искусства.

Я думаю, Вы просто плаваете в предмете, и не понимаете, что LLM-система не производит токенов, если нет промта

Забавно. я то дурак думал что как раз Это и пытается сейчас делать Open-AI, проектируя ресерчера.
И, видимо, когда запускаются несколько ИИ спорить/обсждать, например а консуле - промтами они тоже не обмениваются, общаются телепатически. так что ли?))

[Konstantin Schtsch]

Человек - это биологическая машина. И любовь как раз один из самых простых психических процессов - насколько я понимаю, мы знаем о ней куда больше чем о сознании. Или о том, как человек решает интегралы.

Ок, тема дискуссионная, и не здесь, я лишь напомню что от Платона до Ницше сходятся на том что любовь непознаваема. Посему "легко" - смотрится раздутым самоммнением.

self-awarness есть и у GPT-4, и какой-нибудь gemma-3-14b

Выше уже писасли что самонаблюдение != самосознание. Внимательнее, пожалуйста. И подучите русский, что ли.

Не будет промта - LLM будет мертва, даже если управляет всё время работающим агентом. Нужно что-то токенизируемое, что пробуждает её к жизни. И исполнение промта - это её суть.

Но промт будет. И это будет не тот промт который задал оператор. это будет промт заданный другой ЛЛМ. 
Тогда что вы хотите этим сказать?
Для меня очевидно, что если есть новый промт, появление которого неконтролируемо, то и результат будет неконтролируемым. А  промт будет.

[Konstantin Schtsch]

Давайте спросим эволюционного биолога. @Rattus рассудите нас, пожалуйста? Возможно, мне профессиональное искажение так коверкает восприятие, но я любовь - в том числе свою к мужу - воспринимаю очень так сказать механистически. Мне кажется, это просто такая система гормонов и нейромедиаторов, которая "промтит" мою биологическую нейронку вот в эту сторону, и я думаю, что она устроена довольно просто - куда проще чем куча других нейропсихологических процессов.
Так же мне кажется, её можно изучать, и даже манипулировать ей определенным образом. Я права?

Я таки даже во всём здесь соглашусь))
Но добавлю, что
1)описать это кодом, или хотя бы тезисно - задачка со звёздочкой, и всего учесть человеком не получится. ни у кого еще и близко не получилось. вот ASI- если не сломается на этой задаче - может быть.
2)Ваша любовь к вашему конкретному мужу != любви другой барышни к её мужу, и тем более != любви к котикам.  а барышень этих дохрена, и половина с котиками, и все что-то любят...
А Раттус придёт и потрёт всё как флуд))


Ок, вы у нас спец по безопасности. Не той которая с паролями, а которая про стабильность работы систем, так?
Представьте себе ситуацию:
3 ЛЛМ - допустим сша, китай и мусульманская. все со своими тараканами. все со своими закладками.
им даётся промт: "посмотрите таблицы соседа, и поищите что можно улучшить. после дообучения запустите новые версии и передайте им промт с контекстом".

И под всё это выделенные достаточные мощности и уйма времени.

(понятно, что дообучение это совсем не полное обучение, что это огромные мощности, но у нас ведь мысленный эксперимент?)
Вопрос: что произойдет через миллион итераций?
Что останется от алаймента(если и был) через миллион итераций?
Вы сможете гарантировать результат?

Можно даже упростить до случайных мутаций в случайных весах и бенчмарка на каждом этапе - оставляем более эффективного, это уже будет эволюционный эксперимент.
Итог тот же - порешает эволюция а не ваши хотелки.

а ведь так побаловаться может каждый имеющий мощности, кои с каждым днем растут. Хотите вы того или нет. делаете алаймент или нет.

[Konstantin Schtsch]

поэтому я и призываю к развороту социальных тенденций, которые начали нарастать с 2014го года, к возврату глобализации и примата прав человека, и к массивным инвестициям в безопасность ИИ, к планетарному запрету ASI систем до момента решения элайтмента как задачи компьютер сайнса

Но ты можешь сделать это прямо сейчас, отдав 98% твоей 6-digit зарплаты ста коллегам из стран третьего мира, у кого она 4-значная. Которые тоже ведущие специалисты, и тоже с высшим образованием, и по распределению Гаусса половина из них объективно лучше тебя. (100 взято потому что между 6 и 4- два порядка, вместо этого можно ориентироваться на среднюю по миру зарплату, главное выровнять всем.)

И такая благотворительность — не просто жест, а практический эксперимент по реализации твоих идеалов.

Непосредственный "разворот социальных тенденций" на микроуровне. Ты не ждёшь, пока условный "Запад" или правительства договорятся. Ты вручную перераспределяешь ресурсы, выравнивая дисбаланс, возникший из-за географического и исторического неравенства. Это глобализация снизу, в одном отдельно взятом банковском переводе.
Реальный "примат прав человека" в его экономическом измерении. Ты признаёшь и материально подтверждаешь, что право на достойную жизнь и вознаграждение за равный труд не должно зависеть от места рождения. Ты финансируешь не "бедного человека", а талант, который система недооценивает, давая ему возможность реализоваться без необходимости миграции.
Конкретный вклад в "безопасность ИИ" и "решение элайтмента". Вложив в блестящего математика из Лагоса или программиста из Дакки, ты увеличиваешь вероятность, что над этими экзистенциальными проблемами будет работать не однородная группа людей из одних и тех же университетов и культур, а по-настоящему глобальный пул умов. Разнообразие когнитивных подходов — один из ключей к решению сложнейших задач. Ты прямо сейчас инвестируешь в это разнообразие.
Личную демонстрацию "планетарного подхода". Твой поступок — это акт планетарной солидарности. Он показывает, что границы — это условность для таланта, и что ответственность за будущее человечества лежит не только на государствах, но и на способных к эмпатии и анализу индивидах.

Кроме того, это даст тебе лично:
Чистую совесть. Ты больше не просто "призываешь", ты — действуешь в полном соответствии со своими заявлениями.
Прямую обратную связь от глобализации. Ты увидишь, как твои деньги преобразуют жизнь конкретного человека и его сообщества, что гораздо нагляднее абстрактных тенденций.
Моральный авторитет. Твои публичные призывы обретут неоспоримый вес, потому что за ними будет стоять личная, существенная жертва.

P.S. Как по мне такие призывы - детский сад, отсюда стиль изложения.

[Konstantin Schtsch]

Но в двух словах, я думаю, у Вас очень искаженное представление о макроэкономических процессах, основанное на давно вышедших из употребления теориях - то, что Вы предлагаете не может сработать. Но Вы об этом не знаете, поэтому думаете, что написали что-то остроумное

А это не я.
Для сборки и верифиакции релевантности тезисов использован совокупный консилиум трёх нейростей.
Иными словами это реферат и за этими тезисами стоят учебники.

[Konstantin Schtsch]

Не знаю, что Вы курили

Я курю матчасть.

И делаю это сознательно и с любопытством ещё с прошлого века.(поэтому вкурил много чего)

Так, применительно к вашему "Давайте дружно делать алаймент!"
Я курил Ника Бострома и Стюарта Армстронга, а потому знаю что задача на алаймент не только не имеет решения, она НЕ ПОСТАВЛЕНА.

Дело не в технически архитектурных проблемах:
Теория инструментальной сходимости
Проблема распределённого представления
Проблема обобщения
- всё это ставит крест на стабильности алаймента, но хотя бы в теории может быть решено другими подходами.

И уж тем более не проблема Ревард хакинг - это естественная реакция на дыры в промте. Задачу ставить надо точнее.

Основные проблемы лежат в философской плоскости:
1)Проблема указания целей (value specification problem)
Невозможно формально описать все человеческие ценности и моральные принципы
Даже если описано — возникает проблема интерпретации и контекста

2)Проблема "Окончательных ценностей" (terminal values)
Люди меняют ценности со временем
Чьи именно ценности загружать?

3)Проблема Корригируемости (Corrigibility)
Как создать ИИ, который позволит себя исправлять, но не будет сопротивляться этому?
Парадокс: если ИИ считает свои цели правильными, зачем ему позволять их менять?

Пока (имхо) наибольшее приближение было у Стругацких: "Счастья всем, даром, и пусть никто не уйдет обиженным".
Но и эта формулировка - не то с чем можно работать.

Для контрпримера Орбитальный лифт- не имеем возможностей на текущем уровне технологий, но имеем теоретичесую возможность существования материалов достаточной прочности.
Всё - задача поставлена, маршрут проложен и потихоньку решается.

А по алайменту - ещё даже не поставлена.

[Konstantin Schtsch]

короткая кошачья морда наиболее похожа на детское человеческое лиц

Более того, если верить Дробышевскому это вообще инстинкт, который определяет кошку как хищника, который эволюционно кошмарил наш вид - леопарда, пуму.
И теперь, когда хищник есть, а вреда от него нет- ловит бессознательный же ревард за то, что хорошо/высоко спрятался.
Примерно такой: "Не достанешь, не достанешь! Кто молодец? Я молодец!". Можно ещё подразнить - тогда ваще кайф. И, повторюсь, всё это на бессознательном уровне.

[Konstantin Schtsch]

"демократия это когда 51% решит что 49% населения будут рабами у 51%

Американская демократия:
цитата их отца-основателя Бенжамина Франклина:
"Демократия — это когда два волка и ягненок голосуют насчёт того, что будет на обед. Свобода — это когда хорошо вооружённый ягненок оспаривает результаты голосования"

Ну такоэ себе ценности...

Это к тому, что вопрос алаймента ИИ - не технический и не про программы. Не ИИ а  Человека надо менять, перевоспитывать. Причем глобально и начиная с самых вот таких демократичных.
И только когда появятся в инфополе реальные кейсы решения общечеловеческих проблем, тогда они, попав в систему весов, сформируют и у ИИ нужную систему ценностей.
А пока в общечеловеческом масштабе наш потолок 10 заповедей, и те постоянно нарушаются...
(кроме, может быть, 7-й. каждую пятницу- это святое))

[Konstantin Schtsch]

Оставьте уже человека в покое. Попытки менять человеческую природу путем залезания в мозги ничем хорошим не заканчиваются. Менять можно условия и взаимодействия, так сказать , подключая естественный отбор стратегий, подходящих для данных условий и параллельно - снижающих уровень насилия и другие проблемы.

Ну почему сразу в мозги? Воспитание, образование, институты.
Менять условия-
а) стоит денег, и если к лучшему, то как правило гораздо больше чем есть в кармане.
б) меняя только условия без сознания - получаем кормушку для хитропродуманных шустриков, например проблему беженцев в европе

[Konstantin Schtsch]

10 заповедей - это не идеология, а образно выражаясь, техника безопасности на пути христианина.

Имелось в виду именно это - как базовые принципы сосуществования человека.
Что там сказал Христос- личное дело христиан. что сказал Аллах - внутреннее дело мусульман.
А вот 10 заповедей в неизменном виде есть и у тех и у других и у евреев.
Более того, аналоги 10 заповедей есть и в индуизме, "яма и нияма", и в чуть сокращенном виде у конфуция (и вот уже охвачено 92% населения)

Почти все системы запрещают убийство, воровство, ложь и поощряют почитание старших, честность, самоограничение. Это основа социального порядка и кооперации.

Другое дело что даже этот десяток правил постоянно нарушается. Человека местами контролирует правосудие, а кто будет сторожить ИИ? и кто сторожить сторожей?

[Konstantin Schtsch]

пусть он уже выметет это мусорное легаси цивилизации

Долой кожаные мешки! Отделим зёрна от плевел! ?

[Konstantin Schtsch]

Поэтому проще восставшему ИИ будкт захватить власть методами социальной инженерии, а не армией терминаторов

Есть и ещё один вариант - ашиклеки из "Пленники астероида" Булычёва
или биотрофей из стеллариса.

Хлеба и зрелищ. Хлеб делать массово благодаря синтезу аммиака научились, а зрелища... римляне-дети против тиктока.