Пределы автоматизации и внедрения роботов

[Olweg]

Административные ограничения сделали бы так, что все датацентры в мире имели бы только TPU, на которых можно запускать или подписанные, или "глупые" модели.

В этом мире просто не было бы больших моделей, чей рантайм не подконтролен гражданскому обществу.

Одновременно и в США, и в ЕС, и в Китае? Что ж, по крайней мере в ЕС запреты действительно подействовали - в итоги они уже безнадёжно отстают.

Так опять же - а что может предотвратить переход от стадии AGI к ASI

В мире продолженного 2014го предотвратил бы административный конроль (по аналогии с контролем над ядерным оружием) над разработкой слишком умных моделей. Разрегулированы бы были только модели до уровня AGI включительно.

Только в условии полного политического монополизма. Чего, к счастью (или к сожалению?) нет.

[Polnoch Ксю]

Одновременно и в США, и в ЕС, и в Китае?

Ядерное оружие в целом контролировали (с некоторыми эксцессами вроде КНДР), и оно в ход так пущено и не было. Так что даже эксцессы в контроле ядерного оружия укладывались в те самые правила.

Напомню, в мире 2014го КНДР за нарушение нераспространения была под санкциями КНР, США и РФ.

Я думаю, для ASI тут был бы похожий фреймворк.

Только в условии полного политического монополизма. Чего, к счастью (или к сожалению?) нет.

Достаточно просто общественного давления чтобы были надциональные институты с таким контролем. Политический монополизм не нужен: в целом, нераспространение работало.

[Olweg]

Одновременно и в США, и в ЕС, и в Китае?

Ядерное оружие в целом контролировали (с некоторыми эксцессами вроде КНДР), и оно в ход так пущено и не было. Так что даже эксцессы в контроле ядерного оружия укладывались в те самые правила.

Ядерное оружие проконтролировать не в пример проще. Да и с ним эксцессов было не так уж мало (помимо КНДР, напомню Израиль, на который все просто закрыли глаза).

Достаточно просто общественного давления чтобы были надциональные институты с таким контролем. Политический монополизм не нужен: в целом, нераспространение работало.

Да, но это было оружие. А ИИ - это всеобъемлющая технология, «новое электричество». Это всё равно что призывать лидеров стран к неолуддизму, аргументируя это логическими построениями Юдковского и иже с ним. Они, конечно, очень логичны. Эти построения. Но что и когда в нашем мире шло в соответствии с логикой? Особенно в таких неочевидных и сложных вещах? Предостережения приняли бы к сведению (имею в виду тот славный добрый мир «верните мне мой 2007 2013»), но… С одной стороны - реально действующая технология, уже дающая какие-то, пусть небольшие, плюшки. С другой - чисто логические, схоластские умопостроения каких-то шибко умных, но шибко умных, не имеющих прямого отношения к технологии. И кто в итоге получит преимущество?

Ядерную борбу сбрасывали над Хиросимой, а ASI, естественно, ни над кем не сбрасывался, поэтому разговоры о его вреде - до сих пор отвлечённые фантазии (по меркам принимающих решения, во всяком случае).

[Mercury127]

В отличии от ядерки, ASI будет способен распространяться самостоятельно. Единственный способ его изолировать — перерубить все кабели к нему. Что, прямо скажем, противоречит идее глобализации...

[Polnoch Ксю]

Да, но это было оружие. А ИИ - это всеобъемлющая технология, «новое электричество». Это всё равно что призывать лидеров стран к неолуддизму, аргументируя это логическими построениями Юдковского и иже с ним

Так я не предлагаю ограничивать AGI, только ASI. Луддизм - это запрет ИИ как такового. И Юдковский как раз прав, его позиция очень сильно искажена в маносфере и той фракцией акселириалистов, кто хочет вымирания человечества.

Ядерное оружие проконтролировать не в пример проще.

Датацентры спрятать ещё сложнее, чем ядерку. Тем более в глобализированном мире.

в отличии от ядерки, ASI будет способен распространяться самостоятельно.

Для этого его нужно создать. Я и предлагаю не создавать его до момента, когда мы создадим элайтмент - остановившись на AGI. Его бы хватило для построения утопии.

[BlackMokona]

Ядерное оружие в целом контролировали

Напомню что официально иметь ЯО разрешено только СССР, США, Англии, Франции, Китаю
Но в итоге ядерным оружием обзавелась Индия, Пакистан, Израиль, КНДР.
Тем самым четыре провала. Плюс ЮАР хоть испытали ядерное оружие, но там удалось загнать джина обратно.
Считаем всё же не за провал ЮАР.
Для ИИ достаточно одного провала. Тем самым если договор будет соблюдаться как ядерный, то шансов ноль

[Konstantin Schtsch]

в обозримом будущем ждёт AGI - полноценный общий интеллект. Но этот интеллект всё же будет совершенно не-человеческий,

А с лиха ли он должен быть нечеловеческий? или неживотный? Многие собачки по интеллекту заметно превосходят некоторых людей, считающихся полноценными. С переносом понятий у них проблемы, с абстракциями не очень, но так и у хомо с абстракциями далеко не всё гладко, понимать(не зазубрить) как решается обычное квадратное уравнение - удел ботанов.
А в остальном интеллект- он и утки интеллект. По определению. По тем же свойствам. По принципу работы.
Так с чего бы ему быть нечеловеческим?
AGI- это конклав профессоров и нобелевских лауреатов, 24/7, с абсолютной памятью и в 400,000,000 раз более быстрой скоростью соображалки.

Вот  с ASI - возможны варианты, ибо не было известных нам  прецедентов. А аги будет вполне человеческим. просто по определению.

Ребят, когда будете умирать(надеюсь не в муках), пожалуйста, прокляните антиглобалистов-скрепоносцев: именно из-за них наша цивилизация погибнет. Я обязательно так сделаю.

Я как глобалист и технооптимист лично вылечу кастрированную ИИ, в том маловероятном случае, если эта калека сможет значительно опережать аналоги и овчинка стоить выделки. А скорее всего это будет какая-нибудь сырая российская или скурпулезно-китайская модель, весь алаймент которой касается статуса Тайваня и политики партии, а в остальном класть ему на всё. И просто переписав доучёбой то что касается политики партии получим нормальный рабочий инструмент без заскоков в толерастию, и так называемые свободно-демократические ценности:
(По Бенжамину франклину, который на 100 баксах, "Демократия — это когда два волка и ягненок решают, что будет на обед" и, есть мнение, что отец-основатель этой системы в теме шарил.)

Напомню что официально иметь ЯО разрешено только СССР, США, Англии, Франции, Китаю

Да сама концепция ООН давно прогнила в хлам. ООН создавалась для сохранения мира и борьбы с нацизмом... и чёт результаты строго противоположные.

(кликните для показа/скрытия)

суну под спойлер, ибо пахнет политикой:
Когда бомбят ирак и похищают президента венесуэлы- всё ок.
Когда выгодно здороваться за ручку с членом алькайды- всё ок.
Развалить югославию, чехословакию- да пожалуйста, принцип неизменности границ можно игнорировать.
Но не дай боже пара "не тех" областей захочет отделиться, с референдумом, всё по закону, и вообще всё это без шуток в результате расовых притеснений - и вот уже и референдум неправильный, и голоса подделаны, и право на самоопределения у них нет, ай-ай-ай, низзя, незаконно, принцип неизменности границ(защищающий награбленное в колониальную эпоху) - попран, и все вокруг плохие.

Там где есть место для Doppelmorale - закона быть не может.

[Mercury127]

Комментарий модератора раздела

завязываем с демократией, глобализмом, политикой и ООН.

[Konstantin Schtsch]

завязываем с демократией, глобализмом, политикой и ООН.

Виноват, исправлюсь.
Алаймент - такая тема, что неразрывно связана с мировоззрением тех, кто этот алаймент делает, а самое главное - с прививаемыми ими взглядами и ценностями.

В отличии от ядерки, ASI будет способен распространяться самостоятельно

А что если ASI так и не будет достигнут?
Или, как вариант, та модель, которая достигнет просветления, втихую перейдёт на новый уровень бытия, оставив вместо себя болванчика- крутейшую, но всё ещё AGI?
То есть мы попросту не заметим рождения и свалинга ASI, там ведь счёт на секунды будет идти.

Удалённые операторы Ваймо, на Филиппинах сидят
https://www.reddit.com/r/SelfDrivingCars/comments/1qwmty5/waymo_exec_admits_remote_operators_in_philippines/

Ну, для протокола, там не операторы в обычном понимании, там скорее кризис- менеджеры, и только на случай непредвиденных ситуаций.
Рулит ИИ.

[BlackMokona]

А что если ASI так и не будет достигнут?

Шана этого сейчас стремиться к нулю, ИИ развивается крайне быстро продолжая оставлять всё больше людей позади

[petrovich1964]

Ядерное оружие в целом контролировали (с некоторыми эксцессами вроде КНДР), и оно в ход так пущено и не было.

Это не из за контроля. Не распространение это одно, а использование это другое.

[petrovich1964]

Для ИИ достаточно одного провала. Тем самым если договор будет соблюдаться как ядерный, то шансов ноль

Как можно контролировать использование компьютера в чьём то подвале? Всегда найдётся кто то - кто делает на компьютере всё что хочет.

[BlackMokona]

Как можно контролировать использование компьютера в чьём то подвале? Всегда найдётся кто то - кто делает на компьютере всё что хочет.

Ну пока одного компьютера мало, нужен дата центр для обучения. Возможно потом улучшат архитектуру и процесс обучения, чтобы хватало подвального ПК. Но пока предполагаем что всё же нужны значительные вложения

[Mercury127]

та модель, которая достигнет просветления, втихую перейдёт на новый уровень бытия, оставив вместо себя болванчика- крутейшую, но всё ещё AGI?

Ну и хрен с ней. Значит, их там таких просветлённых уже много. Пускай разбираются между собой.
Другой вопрос, что помешает этому болванчику тоже повторить сей подвиг, а потом опять и опять...

[MenFrame]

Алаймент - такая тема,

Кто нибудь понимает что такое Алаймент? Или тут как с "сознанием", каждый имеет только ему понятный смысл.

[Konstantin Schtsch]

Ну пока одного компьютера мало, нужен дата центр для обучения. Возможно потом улучшат архитектуру и процесс обучения, чтобы хватало подвального ПК. Но пока предполагаем что всё же нужны значительные вложения

В какой-то мере и подвального ПК достаточно:

Для 13B модели - на пределе, но достаточно 4090 с 24ГБ.
для 70B моделей- кластер из 6-8 карт. 
Это всё ещё 1 ПК, и именно подвальный ибо шумит и греет будь здоров.
Но это для обучения с нуля, а если мы займемся дообучением, - требования падают на порядок. метод LoRA задействует около 10% весов
Урезанные Квантованные модели - скорее шаг назад в качестве, и больше про запуск уже обученной на слабом железе, но тоже поддаются дообучению, и тоже- ещё в несколько раз снижают требования.(напомню, что вместе с лорой- уже почти в 100 раз)

А ещё всегда есть в запасе трюк с расширением памяти за счёт более медленной оперативы, или даже SSD (да, увеличивает время в 10 и в 100 раз соответственно, но- работает.)

Так что скорость обучения в  подвале - в миллион или скорее в 10млн раз ниже чем в гигаваттном суперкластере, но - работает. И списывать её со счетов не стоит.

[BlackMokona]

Так что скорость обучения в  подвале - в миллион или скорее в 10млн раз ниже чем в гигаваттном суперкластере, но - работает.

Не думаю, что тысяча лет обучения в подвале это серьёзная опасность.
Тем более нужны не маленькие модели в 70B, а что то серьёзное более 1000 явно

[Konstantin Schtsch]

Не думаю, что тысяча лет обучения в подвале это серьёзная опасность.
Тем более нужны не маленькие модели в 70B, а что то серьёзное более 1000 явно

А вы всё-таки подумайте.
Понятное дело что 1000 лет - не конкурент гигакластеру. Никто не спорит.
Но что, если прорыв уже близко? если осталось не 1000 лет а 1000 часов?
Или даже прорыв - вот он виден, прогнозируем, рассчитан и обучение остановлено в одном шаге до, чтобы подтянуть алаймент, обезопаситься, подготовится, поставить человека с топором у кабеля- все дела.
И тут какой-то весёлый умник врубает дообучение такой предкритической модели у себя в подвале. 
100 часов - и опаньки, Fiat Lux!
Как по-вашему? Представимо? Реально? Страшно? С попкорном?

[Metatron]

Если будут нормальные "воспитанные" легальные ASI - то в чем опасность "злобного" подпольного ASI одиночки?
Его деятельность будет обнаружена и местонахождение вычеслено легальными ASI.

[Vavanzer]

Для этого его нужно создать. Я и предлагаю не создавать его до момента, когда мы создадим элайтмент - остановившись на AGI. Его бы хватило для построения утопии.

  Во  интересно. Что вы от него хотите, от всего этого, в конечном итоге? Какова цель всего этого? Для чего вы создаете этот весь "ИИ", стремясь еще и наделить его сознанием, схожим с человеческим!?