Пределы автоматизации и внедрения роботов

[Polnoch Ксю]

А тут вообще абсолютно не возможно. Никак нельзя убедиться что никто не делает ИИ тайно.

Увы. Мы все умрём? Кто что думает, прав ли Юдковский?

[Polnoch Ксю]

В этой теме же все понимают концепцию рекурсивно самоулучшающегося AGI до ASI? И понимают, что это означает?

[Polnoch Ксю]

Ну будет технологическая сингулярность через несколько лет… Ну ничего ж страшного не случится.

мне кажется, что все концепции человеческого общества просто перестанут существовать. Что дальше будет не понятно. Будут очень большие тектонические сдвиги. Например, до XVIIIго века основной человеческой идентичностью была религиозная. Потом изобрели гуманитарную технологию национальных государств и национализма. Мне, например, очевидно, что после сингулярности более продвинутые идентичности начнут друг друга сменять очень быстро, и государства перестанут существовать. Это если нас просто не потравит ASI как клопов, и если люди вообще останутся существовать.
Это всё будут тектонические сдвиги, которые будут менять то, что происходит на планете за десять лет больше, чем то, что до этого за десятки миллионов лет происходило.

[Polnoch Ксю]

А может наоборот, выйдем на полку S-кривой.

Нет. Только если атомная война разве что. Но и там тоже очень крутая кривая, но вниз.

Но я этому не очень верю.

Конечно же, люди не верят. Я именно про этот эффект много лет на этом форуме и говорю. Неомальтузианство в крови у людей. Они всегда видят будущее, как телевизоры чуть больше, чуть более цветные. Я не знаю, каким будет будущее! Но знаю, что оно будет невероятно, крышесносно отличаться от всего того, что мы можем придумать.
Эффект слепоты лорда кельвина.
А ещё, футурошок

[Polnoch Ксю]

Atlas от BD?

Да. Он бегает и прыгает лучше меня. Это шокирует. Я ничем его не лучше, кроме того, что у него батарейки хватает на меньше времени, чем мне еды, и он пока ещё стоит дороже меня. Но это очень ненадолго в эволюционно-геологическом смысле

[Polnoch Ксю]

Есть эмпирические данные в пользу такой «неомальтузианской» версии.

Уже обсуждали много раз в ВЖР. Мы сошлись на том, что AlexAV, например, не смог предоставить отвязанную от субъективности методику лучших открытый. У нас спор упёрся именно в это. А мои данные без субъективности с числом патентов он забраковал. Между тем, воспроизводимая методика важнее всего в науке.

Просто наука сейчас генерирует так много контента, что ни один человек давно не может следить за всеми открытиями, даже важными, поэтому возникает иллюзия замедления прогресса.

[Polnoch Ксю]

А роботы с сервоприводами пополам из редкоземов пополам из высокочистых материалов

Starship с тысячей атласов и психея, вот и всё. Либо разработать технологии добычи редкоземельных минералов из того, что есть на земле. В условиях энергетического изобилия
https://3dnews.ru/1101296/ssha-obyavili-o-prorive-v-proizvodstve-sverhprovodyashchih-magnitov-dlya-termoyadernih-reaktorov
Очень энергетически затратные процессы станут выгодными.

А мы сошлись на том, что он предоставил наиболее объективную из предложенных. И? Какие мы тут мыистиее?

наоборот, он предоставил субъективный, черрипикнутый список, подогнанный под вывод

[Polnoch Ксю]

Нет - вы. Содержательная беседа получается, правда?

Я предоставила в том споре список патентов. Он воспроизводимый. А алексов список открытий - его человек делал, причем по моей теории же человек не способен охватить открытия, так как производительность мозга константна, а научный контент со временем растёт. То есть, то, что предоставил Алекс не фальсифицировало мою теорию, а наоборот её подтверждало

[Polnoch Ксю]

Как и иерархический страх перед высшей силиконовой обезьяной.

Вот это опасная иллюзия, я согласна. Люди в восторге от ChatGPT и других LLM, потому, что они такие вежливые, обо всём знающие, умнички. Но на самом деле без AI Alighment это будет НЁХ. Разумный паук на максималках, который умеет притворяться человеком лучше человека. Почему НЁХ? А по определению AI Aligment. Мы сами создали суперхищника, который с одной стороны, совсем внутренне на нас не похож, а с другой стороны, умеет под нас идеально маскироваться.

Почему хищника? Ну с биологической тз. не хищника, он не будет нами питаться. Скорее с точки зрения фильма ужасов хищника (чужой против хищника).

Ещё и сейчас на "невойне" создадим для нёха киллботов. Что же может пойти не так, когда кто-то решит облагодетельствовать человечество, например, написав в промте "пусть люди прекратят страдать", и не-Aligned ASI просто нас всех порешит, так как это действительно прекратит страдание?

[Polnoch Ксю]

И бесполезный. В.п.с. сам автор одного и соавтор двух патентов. Патенты реальные, достаточно обычные, которых похожих по материалу в международных БД можно десятки найти. Ни один не внедрён в серию за десяток лет.
Ну а как известно, даже одного факта достаточно, чтобы теорию опровергнуть. Так что не катят ваши патенты на скруглённые углы ойфонов и волшебные палочки - несите более адекватный критерий.

не опровержение, так как это не показатель перформанса прикладной науки, а  бизнеса. Экономика не растёт по экспоненте.

[Polnoch Ксю]

мотивацию ему кто писать будет?

Вы и будете. Но получите не то, что хотели. Вы про paperclip maximazer знаете?

[Polnoch Ксю]

Какой ещё может быть более объективный показатель перворманса ПРИКЛАДНОЙ науки кроме её этого самого приложения - внедрения в производство, которым внедрением в кап.экономиках всецело заведует бизнес?

Скорость внедрения патентов зависит от текущего перформанса экономики. Например, когда рецессия патенты будут писаться в стол.  Ну и если у тебя выбор из большего числа патентов, по которым ты делаешь продукт, то у тебя сам продукт получается лучше. Чем если у тебя выбор очень небольшой.

Вот вы и опровергли ВАшу собственную мантру из другой темы, что

Ничего я не опровергла. Есть разница, когда прогресс развивается по закону (я условно!) e^x, а экономика, скажем, линейно растёт в среднем на пару-тройку процентов в год. Всё ещё игра с положительной суммой.

Если экономика не растёт по экспоненте, а наука (тем более "прикладная"!), как Вы утверждаете,- растёт - то чем дальше, тем больше будет возникать вопросов: "А зачем нам такая "прикладная" наука, которая всё пухнет и пухнет, но на экономике заметно положительно не отражается?" - и её закономерно начнут снимать с довольствия, причём глобально.
Надо понимать это и будет моментом наступления "технологической сингулярности", да?

Если бы у нас не было экспоненциального прогресса, по нам ударили бы все эти пределы роста и падающие возвраты. Но наука может помочь нивелировать проблему. А снять с довольствия науку? Да, запросто, но это решение будет именно глупым, самоубийственным. Именно из-за иллюзии бесполезности прогресса, тогда как только он нас спасти и может.

[Polnoch Ксю]

ну, т.е. - тоже как баг.

почему баг? Не выровненность.

И сколько уже длится эта самая рецессия?

Именно эта в Европе, Хонтии и России - сколько продлится невойна. При этом глобальный Юг, США, Канада и многие другие страны растут. Запрещённое слово даже не игра с нулевой суммой, а с отрицательной.

Если продукт получается лучше, то это должно позитивно отражаться на экономике, или нет?

Конечно. Но у нас сейчас цивилизационный кризис внутренний, культурный. Лысые говорящие обезьяны решили просто так самоубиться на пустом месте. Объективных причин, а-ля нехватки ресурсов, у него нет. Нет, я не спорю, от изменений климата такие проблемы начнут нарастать. Но лет 50, если не 150, у нас ещё есть, особенно если попытаться сдержать эмиссию CO2 (без ущерба для экономического роста), а там и термояды подоспеют, и можно будет иметь энергию откачать лишний CO2 из атмосферы.

Что в любом случае свидетельствует о стремительно падающей отдаче и превращении такой "прикладной науки" де-факто в пузырь

Наука это ресурс. Ресурс для решения назревающих проблем. Она же позволяет создавать новые рынки, без которых капитализм не растёт. Например, после глобализации планеты был создан интернет. Созвездия спутников тоже создали новый рынок. Её резать нельзя, чем бездоннее бочка знаний, тем проще справляться с вызовами вроде падающего возврата или пределов роста

  А вариант, что этот самый удар и будет проявлением той самой "технологической сингулярности" вы с гневом отвергаете как идеологически неблагонадёжный?

Ну это попытка переназначить термин, украсть его значение.

А если она придёт к выводу, что это нивелирование возможно только через урезание потребления и режим жёсткой экономии всего и вся? Кризисное управление и теория катастроф - по-ВАшему - лженауки?

У меня дома светодиодные лампочки, а у Вас? Казалось бы, по кардышеву регресс в отдельно взятом жилье: снижение энергопотребления. А в реальности прогресс. Ничего плохого в экономии ресурсов, если не ведёт к снижению уровня жизни, нет. Самое забавное, что при этом у нас дома безлимит по электричеству (нет счётчика), но других лампочек, кроме светодиодных, не бывает умных (чтобы краснели вечером), да и кто обычными пользуется - в супермаркете или на Амазоне продаются именно такие. Чтобы купить не светодиодные, нужно прикладывать специальные усилия.

[Polnoch Ксю]

У Нас тоже это замечательное изобретение конца прошлого века установлено во всех комнатах.

Умные светодиодные лампочки, которые могут гасить свет, когда Вас нет в комнате, или менять спектр  в течение суток, чтобы помочь с циркадными ритмами - не изобретение прошлого века.

А если ведёт? Это зависит от ценностных установок, которые, как известно, далеко не абсолютны.

ну, если у кого-то ценность лично развеевать в энтропию как можно больше энергии, то у этого человека уровень жизни падает. Но объективно для типичного человека это не нужно. Если лысые, говорящие обезьяны закончат убивать друг друга, экономика быстро восстановится, и продолжит расти (с попеременными рецессиями) ещё очень долго. Если, конечно, тех сингулярность не наступит очень скоро - некоторые считают, что до неё вообще пара лет.

[Polnoch Ксю]

Не нужны, если не отсохли напрочь руки и мозг.

640КБ хватит всем? А ещё, на человеке можно даже землю пахать! Зачем отключать свет руками, если это может делать автоматика?

Бесполезно согласно последним исследованиям.

Там вроде не совсем бесполезно, но освещённость важнее, да. Вот освещённость тоже может меняться автоматически.

"Всё уже было изобретено" - иллюзия. У нас есть всё более увеличивающая бочка знаний, и на основе неё делаются новые продукты. Иногда это что-то, изобретённое год назад. Иногда что-то, открытое тысячи лет назад. Чем бочка знаний бездоннее, тем возможностей больше.

[Polnoch Ксю]

Диммер - высокотехнологичнейшая инновация XXI века!

диммер + скрипт

[Polnoch Ксю]

Во все времена люди не имеющие понятия о предмете - придумывали страшилки лишь бы остановить технический прогресс.

Если Вы обо мне, я Site reliability engineer **** у нескольких работодателей, в том числе я работала в достаточно известных корпорациях(хотя для FAANG я пока ещё недостаточно умная). Нет, конечно не специализируюсь на LLM, но профессия достаточно близка(public clouds, CI/CD pipelines, kubernetes clusters - в том числе MlOPS). Плюс муж специализируется именно на машин лёнинге, и я всегда могу у него что-то спросить, если мне не понятно.

А вот многие из тех, кто в теме отписались, всё ещё не загуглили ключевые слова, AI alignment, но продолжают обсуждать то, в чём, кажется, совсем ничего не понимают.

Я бы и писать про это не стала, если бы Вы не зашли, так сказать, с козырей о некомпетентности оппонентов. Расскажите о себе? Наверное, вы машин лёрнинг инженер, у Вас есть свои модели на huggingface, и доступ к кластеру(например, кредит от инвесторов в AWS, GCP, Azure, Alibaba Cloud в стартапе где Вы работаете) с десятками тысяч видеокарт, где Вы реализуете свои идеи? Если да, то, пожалуй, мы действительно должны Вам внимать, и в большей степени задавать вопросы, чем писать свои суждения.

[Polnoch Ксю]

Нет, не о вас.

Тогда извините, просто Вы меня процитировали.

Как размер зарплаты

Вы, пожалуй, правы, это было немного заносчиво, удалила.

Допустим есть, и что?

Это значит, что Вам есть что сказать в этой теме, возможно, больше любого другого участника. Видимо, Вы разбираетесь в вопросе LLM лучше меня.

и помогает в споре, что диммер не инновация 21 века как и светодиодные лампы?

Это не относилось к этому спору. Это относилось к тому, что я посчитала, что ув. Metatron посчитал меня неуместной в этой дискуссии, в силу того, как я подумала, что он решил, что я в какой-то совсем другой сфере работаю. В клининге например. Или офис-менеджером.

[Polnoch Ксю]

  http://www.youtube.com/watch?v=3AK3Y2tiOwo# - этот видеоряд представляет нам нейросеть??? Неужели ИИ настолько убог? Или убоги программисты?

  А так представляет нейросеть известную советскую песню в исполнении Иосифа Кобзона. http://www.youtube.com/watch?v=7qPhN2Kv0Z8
  Да... печальным представляется мне будущее при дальнейшем внедрении в быт искусственного интеллекта.

Посмотрите, лучше, вот это:
https://youtu.be/HK6y8DAPN_0
https://youtu.be/QoB-mpWrH20

Кстати, видимо, Sora это прямо pre-AGI технология: она естественным образом понимает пространство, время, физику.

[Polnoch Ксю]

GPT это давно AGI.

хм, почему? AGI это система с консистентной и более-менее адекватной картиной мира, нет? Когда Sora рисует дополнительную лапу, это всё ещё немножко а-ля шизофрения - близко к AGI/EGI, но пока ещё нет. Но уже подошло в плотную

Где ИИ достигает человеческого уровня это не когда попадает в зону разброса навыков людей, даже не когда обходит среднего человека, а когда побеждает самого,самого,самого из человеческой популяции без шансов в 100% случаев

Ну и калькулятор побеждает самого, самого человека в узкой задаче. А разница с человеком пока ещё есть. Да и между LLM, вот свежий рекламный бенчмарк с Claude 3. Всё же, например, школьную математику Software engineers обычно знают на 100%, нет?