Пределы автоматизации и внедрения роботов

[BlackMokona]

Так же есть риск с ASI, который может быть скоро после UBI, и без элайтмента он скорее всего нас просто выпилит всех... А элайтмент может быть к злодею, к условному Киму или Тилю.

Да нету нужды выпиливать, сами не размножаемся уже. Проще откупиться и спокойно ждать.

[Polnoch Ксю]

Да нету нужды выпиливать, сами не размножаемся уже. Проще откупиться и спокойно ждать.

слишком рациональные ожидания от садиста-психопата, ИМХО

[BlackMokona]

слишком рациональные ожидания от садиста-психопата, ИМХО

Так для садиста-психопата наоборот подождать ещё лучше. Посмаковать угасание человечества. Ведь у этого сверхразумного ИИ будет всё время мира, спешить некуда. Он же не смертное существо с капом в 100 лет?

[Polnoch Ксю]

Так для садиста-психопата наоборот подождать ещё лучше. Посмаковать угасание человечества.
 Посмаковать угасание человечества. Ведь у этого сверхразумного ИИ будет всё время мира, спешить некуда. Он же не смертное существо с капом в 100 лет?

Читали "у меня нет рта, но мне нужно кричать?" Но вообще я имела ввиду не rogue ASI, а могущественного человека-психопата, с элайментом ASI лично к нему.

[Olweg]

У ИИ неоткуда взяться садизму, разве что из обучающей выборки, потому что садизм подразумевает удовольствие от чужих страданий, а у ИИ нет лимбической системы, ему нечем это удовольствие испытывать, разве что подражать садистам из учебников истории. А вот психопатия просто как противоположность эмпатии - да, это возможно.

[AlexDark]

Психопатия и садизм могут сочетаться, но это совершенно не обязательно. Эмпат-садо-мазохист будет куда хуже рационального психопата, который отвергает всякие иррациональные вещи, типа бессмысленного причинения боли кому-то, потому что ему это просто не нужно, не имеет смысла и представляется пустой тратой сил и времени.
Вот то, что любой продвинутый ИИ выметет в первую очередь религию, и прочую ментальную вирусню как один из основных источников проблем - так я только за.

[Polnoch Ксю]

У ИИ неоткуда взяться садизму, разве что из обучающей выборки, потому что садизм подразумевает удовольствие от чужих страданий, а у ИИ нет лимбической системы,

Технически Вы правы, по сути имхо нет. Из промта. Например, у Василиска Роко (не смотрите если не знаете что это)

Но когда я говорила о садисте, я конечно имела ввиду человека с ASI. У этого ASI элаймент к этому человеку

[Инопланетянин]

Читали "у меня нет рта, но мне нужно кричать?"

Фантастическое произведение не может быть доказательством.

Но когда я говорила о садисте, я конечно имела ввиду человека с ASI. У этого ASI элаймент к этому человеку

Это сводится к использованию человеком инструмента в преступных целях. Есть от этого средства и прежде всего - использование аналогичных инструментов для противодействия.

[Mercury127]

Но когда я говорила о садисте, я конечно имела ввиду человека с ASI. У этого ASI элаймент к этому человеку

и чем это отличается от обычных садистов во главе разных государств в истории? например, Нерона...

[Trend]

Так же есть риск с ASI, который может быть скоро после UBI, и без элайтмента он скорее всего нас просто выпилит всех

ИИ это же не дух какой-то бесплотный. Он живет в датацентрах. А они дико уязвимы.

ИИ же не может поселится в абстрактном интернете, как в Терминаторе 3. Да и тогда бы он вряд уцелел. После ядерной войны электроэнергия перестала бы вырабатываться, скорее всего электромагнитными импульсами вывели бы из строя все компьютеры и электрические сети работать перестанут.

Это все на экране выглядит красочно. А когда начинаешь думать, как бы это все могло работать в жизни, так сразу вся картина разваливается.

[Polnoch Ксю]

Фантастическое произведение не может быть доказательством.

Это не доказательство, это сценарий, что именно rogue ASI может делать

Это сводится к использованию человеком инструмента в преступных целях.

В одном из сценариев да

и чем это отличается от обычных садистов во главе разных государств в истории? например, Нерона...

тем, что на их стороне не было сверхразумной машины, готовой исполнять буквально любую самую глупую жестокую дурость, не задавая вопросов "зачем?", не саботируя её тихо. И нерон был туповат.

Он живет в датацентрах. А они дико уязвимы.

Это всё самоуспокоение. В реальности, уже сейчас сетевая инфраструктура довольно устойчива (см. геокластеры) к выбыванию ограниченного числа датацентров почти без деградации сервисов.

Мне кажется, нас ещё всякие фильмы вроде Матрицы и Терминатора расслабили: в них машины быстрее, физически сильнее, но не умнее нас. Ни один из этих сценариев не объяснял нам, что машина может быть сверхманипулятором - как хакеры-социальные инженеры, только много лучше любого человека.
Каждый из нас услышит то, что мы надеялись услышать. Я скорее всего поверю, что элаймент(у ASI, не зависящего от человека-злодея) настоящий, и он к человечеству в целом И не смогу найти ошибку в доказательствах

Ни один датацентр скорее всего не пострадает - мы сами отдадим все ключи, сами запустим роботизированную экономику, потому, что не будем понимать, что нами манипулируют.

В сценарии с rogue ASI без элаймента вообще, пропаганда будет направлена на каждого из 8 миллиардов человек. И она будет идеально выстроена на основе бигдаты, баз данных в даркнетах итд, а так же просто на основе того, что машина будет много-много умнее любого самого удачного мошенника в истории человечества

[Mercury127]

тем, что на их стороне не было сверхразумной машины, готовой исполнять буквально любую самую глупую жестокую дурость, не задавая вопросов "зачем?", не саботируя её тихо. И нерон был туповат.

любая бюрократическая машина именно такая. саботирует она лишь то, что вредит непосредственно ей. а добавив к ней ближний круг подлиз, готовых предугадывать желания хозяина — получается коллективный распределённый суперинтеллект.

вообще, мне непонятна уверенность, что “суперинтеллект”, если возникнет, будет соблюдать какой-либо “элайнмент”. нмв, для выполнения задач, превосходящих возможности человека, заведомо требуется способность обходить ограничения, заданные человеком...

[Polnoch Ксю]

вообще, мне непонятна уверенность, что “суперинтеллект”, если возникнет, будет соблюдать какой-либо “элайнмент”.

по-дефолту не будет. Поэтому Юдковский и прав, имхо (пик). Нельзя строить ASI машины до изобретения элайтмента. Это должен быть общепланетарный запрет, на создание ИИ более умных, чем AGI-машины. Так как до AGI, видимо, осталось менее 5 лет (а может даже и менее года, хотя вряд ли...), уже пора этим заниматься

Но у нас в природе есть пример элайтмента: у части людей есть такое к домашним котикам. У других нет - то есть, это особенность культуры и/или нейробиологии конкретного человека. Это доказывает, что такое в принципе возможно, чтобы более разумная сущность действовала в интересах менее разумной, даже если это нерационально, антиэволюционно итд

[Trend]

Каждый из нас услышит то, что мы надеялись услышать. Я скорее всего поверю, что элаймент(у ASI, не зависящего от человека-злодея) настоящий, и он к человечеству в целом И не смогу найти ошибку в доказательствах

Ни один датацентр скорее всего не пострадает - мы сами отдадим все ключи, сами запустим роботизированную экономику, потому, что не будем понимать, что нами манипулируют.

В сценарии с rogue ASI без элаймента вообще, пропаганда будет направлена на каждого из 8 миллиардов человек. И она будет идеально выстроена на основе бигдаты, баз данных в даркнетах итд, а так же просто на основе того, что машина будет много-много умнее любого самого удачного мошенника в истории человечества

Таким хаосом невозможно управлять.

[Polnoch Ксю]

Таким хаосом невозможно управлять.

люди вполне способны управлять десятком-другим человек, вникая в детали. А это сверхразумная машина, ей нужно управлять конечным числом людей(6 млрд не так и много на самом деле....) и адаптивно подстраивать тактику под стратегию.

"в один промт" она не сможет из-за эффекта бабочки, я согласна. Но у неё будет постоянный фидбек от того, как мы реагируем на её воздействия, и возможность корректировать попытки воздействия на каждого человека.

А когда это всё будет возможно, я скорее всего буду молчать по двум причинам:

1) не хочется быть шизой, которая утверждает, что ею управляют инопланетяне с Нибиру из розетки
2) уже будет поздно

Сейчас, когда нет даже AGI, не говоря об ASI, я не звучу как та, за которой наблюдают ФСБ/ЦРУ/вотэвер. И пока ещё не поздно... А может и поздно, из-за того, что мир в состоянии конфронтации, совсем как в сценарии "у меня нет рта, но мне нужно кричать"

[Polnoch Ксю]

Это должен быть общепланетарный запрет, на создание ИИ более умных, чем AGI-машины.

с развалом глобализации, сложно себе представить, что такой запрет будет соблюдаться в нашем мире.

[Trend]

Сейчас, когда нет даже AGI, не говоря об ASI, я не звучу как та, за которой наблюдают ФСБ/ЦРУ/вотэвер. И пока ещё не поздно... А может и поздно, из-за того, что мир в состоянии конфронтации, совсем как в сценарии "у меня нет рта, но мне нужно кричать"

Если он в конфронтации, то с чего бы тогда появиться единственному и неповторимому суперпупервездесущему ИИ, а не куче сразу?

[Polnoch Ксю]

Если он в конфронтации, то с чего бы тогда появиться единственному и неповторимому суперпупервездесущему ИИ,

из-за природы экспоненты техсингулярности. Это то, что, кажется, Вы и @Rattus не понимаете. Он привык иметь дело с медленной эволюцией. Она медленная даже для ВИЧ. ВИЧ не превращается за несколько часов в звездолёт, который улетает к альфацентавре на околорелятивистской скорости - он всё ещё остаётся вирусом, и даже именно вич, хоть и довольно отличным от изначального штамма - через годы после заражения появляется много штаммов.

Хомо сапиенсы интуитивно не понимают экспоненту и с трудом прогнозируют сценарии, где она появляется.

Кроме того, вот давайте теоретически представим что есть два ASI, и оба с фейковым элайментом. Очевидно, они в отличие от людей теорию игр знают хорошо, так что сыграют в дилемме заключенного правильно - против нас.

Я думаю, что сценарий нескольких ASI вероятен в том случае, если мы создадим элайтмент в том или другом виде. Вот в сценарии нового феодализма с развалом национальных государств и глобальной экономики с ликвидностью и международной торговлей.

[Olweg]

Технически Вы правы, по сути имхо нет. Из промта. Например, у Василиска Роко (не смотрите если не знаете что это)

Но когда я говорила о садисте, я конечно имела ввиду человека с ASI. У этого ASI элаймент к этому человеку

Всё может быть, но зачем зацикливаться на тёмных сценариях? Вообще интересно бы попытаться что-то спрогнозировать, исходя из текущей ситуации, потому что, на мой взгляд, «процесс пошёл». Уже ясно, что будет дальнейшее развитие агентов с их всё большей автономностью. При этом они смогут решать всё более сложные задачи, в том числе экономические и политические, но поначалу это будет занимать у них много времени. Сценарий «синглтона» (по терминологии Бострома), похоже, уже малореален. Мощных ИИ-агентов будет много. И, несмотря на экспоненту, время, чтобы подготовиться к изменениям, у людей, наделённых властью, политической и экономической, будет. Но в любом случае, сингулярность принципиально непредсказуема. Поэтому, наверное, можно попытаться спрогнозировать, что будет за несколько месяцев (или даже недель) до неё, но не дальше.

[Polnoch Ксю]

Мощных ИИ-агентов будет много.

наши текущие самые мощные агенты - это четыре модели:

codex-5.2-max, opus-4.5, gemini-3, и грок.

Тысячи и тысячи агентов что мы запускаем, используют в основном эти модели. Нет, я сама запускаю агенты с локальными агентами, но они заметно глупее.

И нет, я думаю что с большой вероятностью будет один явный лидер, как только мы дойдём рекурсивного самоулучшения, просто за счёт форы и математической природы экспоненты.