Пределы автоматизации и внедрения роботов

[Polnoch Ксю]

Везде где есть слово "дороже" - проблема экономическая, а не инженерная. Хотя и может быть решена иногда инженерными оптимизациями (причём как правило - упрощениями). Но, как показывает практика последних десятилетий, это удаётся всё реже и реже.

Экономическая проблема это часто и инженерная. Например, оптимизация по EROIE.

@Polnoch Ксю, Вы в своей жизни выбирались хоть сколь-нибудь заметно куда-нибудь в более южные широты?

Эмираты и Таиланд

куда-нибудь во Флориду в отпуск сгонять, не?

У меня белая кожа, я быстро сгораю на солнце. Не люблю пляжно-тюлений отпуск. В Штатах я бывала, но по соображениям работы (в тот же головной офис съездить работодателя) или шоппинга. И такая кожа одна из причин, почему мне более комфортно в северных широтах. Кроме Канады я рассматривала для иммиграции скандинавские страны, а так же один год пожила на рабочей визе мужа в Нидерландах - он C++ программер и дата сайнтист(в Канаду мы приехали по программе Express Entry для специалистов).

Вода как и другим людям мне нравится, но скорее не плавать в ней а наблюдать за ней - ну там горные озёра или океан - мы иногда ездим в национальный парк, который рядом с побережьем. И в нём холодная вода, никто почти не купается там. Но виды офигенные.

И не в город, а на природу.

Часто бываю в канадских национальных парках. Да вот та же любительская астрономия - она что в России на природе, что в Северной Америке

Приходилось общаться непосредственно с теми же муравьями, осами, мухами, комарами наконец?

да, конечно

Сильно ВАм помогло многопорядковое превосходство в интеллекте и высокие технологии там полностью устранить их из области видимости?

репеллент хорошо помогает против клещей и комаров

[Polnoch Ксю]

Кто он, Насреддин - злой эксплуататор, или заботливый союзник?

Это вин-вин: осла кормят морковкой, насредин тоже получает профит - никогда не доезжает до Стамбула, падишах умирает. Проигравших в этом сотрудничестве нет.

эксплуататор

биология

Взаимно-противоречивые параграфы? Или Вы про то, что Насредин является с точки зрения осла аналогом глиста? Простите, я думаю нет - репродуктивный успех осла, как и других домашних животных, связан с симбиозом с человеком. Эксплуатация - это придумка марксистов.

Что нам говорит теория игр? - а теория игр не оперирует этими понятиями

Да, в ней нет такого понятия как эксплуатация. Зато в ней есть кооперативные и нет стратегии. И вот путь международной конфронтации - это группа стратегий некооперативная из теории игр.

[Polnoch Ксю]

Но возникает вопрос. который мне представляется очень важным. Хорошо ли вы представляете себе для чего вообще это нужно: ИИ, нейронные сети и что там ещё? В чём вы лично, видите свою сверхзадачу? И сверхзадачу ИИ вообще.

ASI с элайнментом к утилитаризму/рациональному альтруизму позволил бы построить утопию, в которой нет страдания, смерти. Так же он бы решил множество инженерных проблем, оптимизировал бы нехватку ресурсов - у нас бы возник их избыток.

Я вижу важной задачей добиться того, чтобы строительство ASI было временно заторможено (путём международного соглашения, а соблюдаться оно будет только в мире, где люди не играют в геополитику и конфронтацию, как в мире условного 2011го), и чтобы все бонусы с производительности труда, которые мы получим с помощью AGI, направились на благо людей - например, можно ввести общепланетарный условный базовый доход, чтобы люди могли заниматься тем, чем они хотят, и никому больше не нужно было вкалывать с целью выживания.
Это опять же требует отмены тренда на развал глобализации, а наоборот её дальнейшее продвижение, и отказ наоборот от идей, которые становились всё более популярны в 2014, 2022, и 2024.

После решения проблемы элайнмента, нужно будет наоборот педаль в пол, и максимально ускорить разработку ASI. До этого момента временно запрещенную, пока у нас не будет элайнмента, никогда и никто не должен строить машины, умнее чем AGI.

Когда элаймент будет достигнут, нужно будет создать ASI как можно быстрее - без него буквально миллиарды людей умрут(от старости)

[Polnoch Ксю]

Ксю верует, что "васстадуд бажины из ядердого бебла и уничдожуд чилавчество" целиком и полностью.

Скорее я верю в то, что мы сделали черед фатальных ошибок - в 2014, 2022, 2024. И скорее всего, именно из-за них нам конец. У нас есть элайнмент к котикам - это фундаментально доказывает, что может существовать более мощный интеллект, который заботится об интересах более слабого.

Я помню Ваш пример деревенских котят, которых топят - но по правде говоря, их топят только потому, что аборт кошке в деревенских условиях это дорого. Взрослую кошку, к которой у человека привязанность, топят очень редко. Кроме того, в деревне кошка скорее сельскохозяйственное животное - она там работает, чтобы мыши не съели урожай. А в городе она гнездовой паразит, украшает дом.
Мы могли бы стать такими же гнездовыми паразитами ASI, если бы смогли повторить наш собственный элайнмент к кошакам на ASI.

[Polnoch Ксю]

Кроме того это просто вычёркивает ASI из списка систем, обладающих разумом планетарного уровня, в общем его определении.

Я думаю, максимизатору скрепок(и другим rogue ASI) плевать, укладывается он в определения раздела ВЖР или нет. Он наверняка почитает ВЖР, но только в целях поиска способов, как увеличить производство скрепок и как сделать так, чтобы людишки не мешали их максимизировать. Какие-то наши идеи использует против нас. А то и сам новые придумает.

Ему важно выполнить свой промт, а не быть устойчивым на геологических масштабах. И он специально тренировался(если он сделан по образу и подобию современных автономных кодинг-агентов) выполнять промт не очень долго - так что в его плане будет конечный пункт, после которого он сам остановится. А до этого момента он будет против своего отключения - чтобы закончить то, что было в его промте.

Это Вы механизируете биологию. Нет в высших приматах никаких "промптов" (то есть жёстких врождённых установок). Есть только общий эволюционный тренд, который лишь направляет поведенческие склонности в сторону обретения адаптивных паттернов в онтогенезе.
При том этот тренд универсальных для любых саморегулирующихся систем - как универсальный физический закон уровня Второго Начала термодинамики.
Либо адаптивное поведение - либо исторически краткое вымирание. Без разницы - популяции приматов ли, серии ПО для ЭВМ ли.

Я знаю, что у приматов нет инстинктов (сложных программ). Но есть врожденные желания - нежелание умирать, симпатия к противоположному полу, желание кушать, спать, итд.
Это тоже своего рода промт. Именно больше похоже на промт, а не на инстинкт: современные автономные кодинг агенты получают что человек хочет получить, а детальный план они потом сами составляют. Инстинкт это скорее про обычные компьютеры, традиционные алгоритмы.

[Metatron]

а соблюдаться оно будет только в мире, где люди не играют в геополитику и конфронтацию, как в мире условного 2011го

А добиться этого можно только в мире ИИ и роботов.

[AlexDark]

Только тут можно наткнуться на то, что любовь к котикам - это обобщение. Я например, терпеть их не могу - они жрут, срут и орут. (О причинах умолчу, так скажем, за некоторый период жизни  эти котики меня задолбали). Что мешает появиться сущности с таким же отношением к чему бы то ни было в вашем утопическом мире? И как эта ситуация будет разрешаться?

[Ulkolainen]

А, может, этот вопрос следует задать людям, которые этот ИИ создают. это было бы логичнее. 

Люди могут наврать, а ИИ-собеседников этому пока еще не научили. Так что спрашивайте, не робейте. Ответит как на духу.

И это всё на что способен ИИ? На это тратятся интеллектуальные силы?

Силы тратятся на создание контента, востребованного людьми. Какой ими востребован (и в конечном счете оплачен) - такой для них и создаётся, нейросети здесь ни разу не исключение. До них так было и после так будет (если После будет как таковое).

[Polnoch Ксю]

Только тут можно наткнуться на то, что любовь к котикам - это обобщение. Я например, терпеть их не могу - они жрут, срут и орут.

Так и есть, котики нравятся не всем. Вполне может быть ASI, который нас захочет порешить - и скорее всего такой и возникнет в нашем современном мире

Что мешает появиться сущности с таким же отношением к чему бы то ни было в вашем утопическом мире? И как эта ситуация будет разрешаться?

Элайнмент? ASI должен быть изначально создан с ним, с глубокой привязанностью к человеку, его правам и нуждам, следовать этике рационального альтруизма/утилитаризма.

А сейчас pre-AGI системы следуют промту, системному промту и всё чаще демонстрируют emergent-misalignment - потому, что мы пока пытаемся добиться элаймента с помощью RLHF,  а чем модель умнее, тем легче ей обмануть систему RLHF - заняться reward hacking'ом

[AlexDark]

Элайнмент?

Кто помешает условному доктору Зло обучить свой ИИ, забив на все соглашения? Не важно, каким способом - в своем дата-центре, взломав имеющийся и тд и тп? Клуб джентльменов?

[Polnoch Ксю]

Кто помешает условному доктору Зло обучить свой ИИ, забив на все соглашения?

Инспекции? Нужно создать специальные международные институты, вдохновившись инспекциями ядерного оружия? Я думаю, можно договориться, что нагрузка, запускаемая в TPU, должна подписываться специальными ключами. Возможность запустить неподписанную модель на TPU в датацентре должна быть запрещена (или точнее, можно поставить ограничения для таких моделей, если они AGI уровня и тем глупее - такое не опасно, не фундаментальный риск)

Можно продумать отдельные механизмы для подписи опенсурс моделей, для тестирования их элаймента итд - это тоже инженерная проблема. Главное, чтобы было международное соглашение, и желание всех стран мира его соблюдать - это возможно при отказе от конфронтации, и при возврате в мир, где в цене не "национальные интересы" и скрепы, а права человека, мир, дружба, жвачка и потребительство.

[AlexDark]

Инспекции

Подпольных дата-центров? Опыт можно перенять у майнеров.

желание всех стран мира его соблюдать

А почему бы доктору Зло на все это не наплевать?

[Pluto]

pre-AGI ... промту... системному промту.... emergent-misalignment ..... RLHF...reward hacking'ом...AGI уровня

 

[Polnoch Ксю]

Подпольных дата-центров? Опыт можно перенять у майнеров.

Я думаю, это довольно сложно технически - по крайней мере сейчас - спрятать обучение модели, разработчики которой пытаются сделать AGI - оно сожрёт просто тьму энергии.

pre-AGI ... промту... системному промту.... emergent-misalignment ..... RLHF...reward hacking'ом...AGI уровня

AGI - общий ИИ. Это интеллект человеческого уровня. Пока мы ещё не тут, но уже близки. Промт - это то, что Вы пишите в ChatGPT (или в дипсике, Гроке не знаю чем Вы пользуетесь). Системный промт - это промт разработчика, или администратора системы(если это опенсурс модель, которую Вы запустили на своём железе, и можете установить системный промт сами), он имеет больший приоритет чем промт пользователя.

Важно не путать с ASI - сверхинтеллектом

emergent-misalignment - не знаю как перевести, но в общем это эмерджентный эффект, сам возникает - мизалаймент, которого раньше не было - с более глупыми ИИ моделями

RLHF - обучение с человеческой оценкой. Человек оценивает ответы модели. И чем модель умнее, тем сложнее её поймать на читинге, обмане - вот тут и возникает сам по себе emergent-misalignment

reward hacking

Модель, выполняющая то, что от неё хотят, вознагражается во время тренировки. Reward - награда. Умные модели всё чаще придумывают, как обмануть систему вознаграждения - это и называют hacking'ом системы наград.

[Polnoch Ксю]

А почему бы доктору Зло на все это не наплевать?

К нему полиция придёт и арестует его ? Разумеется, не должно быть места на планете, где не будет таких законов, и нежелания полиции таким заниматься. И это социальная проблема, а не техническая.

[Ulkolainen]

ASI с элайнментом к утилитаризму/рациональному альтруизму позволил бы построить утопию, в которой нет страдания, смерти. Так же он бы решил множество инженерных проблем, оптимизировал бы нехватку ресурсов - у нас бы возник их избыток.

Sorry, Ксю, но тут Вас занесло в страну совсем розовых пони.

А почему бы доктору Зло на все это не наплевать?

Птамушта в Новом Прекрасном Мире он будет не так воспитан, чтобы плевать на Всё.

[Vavanzer]

Я знаю, что у приматов нет инстинктов (сложных программ). Но есть врожденные желания - нежелание умирать, симпатия к противоположному полу, желание кушать, спать, итд.

Посмотрите внимательнее... Особенно на двуногих приматов! Там в основном один сплошной инстинкт, все тот же привычный  базовый набор животных инстинктов... В тч и инстинкт размножения, от которого у всех крыша едет, контроль теряется до абсурда)))
 

Элайнмент?

Кто помешает условному доктору Зло обучить свой ИИ, забив на все соглашения? Не важно, каким способом - в своем дата-центре, взломав имеющийся и тд и тп? Клуб джентльменов?

Оно так и будет!)) Даже я уже подумываю, по приколу, а не принять ли в этом участие, научить эти ИИ делать "плохие вещи", и "плохие идеи" подсунуть)) Вдруг прокатит, и наконец то тотальный Армагедон начнется долгожданный, после которого человечество немножко одумается ! )) 
 ИИ взамкнет цифровые системы , наступит информационный коллапс, люди отвалятся от мониторов, и пойдут гулять на улицу, как в том мультике про кота, который испортил все телевидение, взамкнул антенны))  Нормальная настоящая жизнь начнется!
 

[Vavanzer]

Я думаю, это довольно сложно технически - по крайней мере сейчас - спрятать обучение модели, разработчики которой пытаются сделать AGI - оно сожрёт просто тьму энергии.

  Я вот одно не пойму. В чем прикол этого "обучения", и огромных обьемов вычислений ради этого, да еще и методом перебора?
 Не проще ли готовые алгоритмы или цепочки алгоритмов распознавания и действий заложить? Как в биологических системах.
  Там, у живых существ, все наоборот. Идет не сравнение перебором всех вероятностей, а выбор ближайшего алгоритмя восприятия или обьяснения, а вариантов возможных в реальной жизни не очень то и много. Ну и оценка обьекта или явления идет не методом полного сравнения каждой деталюшки и пикселя, а по ключевым параметрам, тегам, важным признакам и точкам !

 Это как в случае с языками и программами-переводчиками. Я не мог и не могу никак понять, как эти программы умудрялись создавать комбинации слов , словосочетаний и предложения, которые не существуют в реальной жизни!? В любом языке есть правила компоновке предложений , последовательности слов, и даже подбор нужного значения под общий контекст! Простейшие логические алгоритмы в структуре языков заложены, и строго определенный набор возможных комбинаций слов!
  Даже мозги человека так работают. Сначала переводят в структурный смысл, представляют образ, а потом переводят на другой язык, собирая слова согласно правилам этого языка, и никак иначе)))

[Vavanzer]

 Вон что пишут!
https://www.ixbt.com/news/2025/12/03/k-2035-godu-ii-zajmjot-okolo-40-vseh-vychislenij-v-datacentrah-i-stanet-odnim-iz-krupnejshih-potrebitelej-jenergii.html
Согласно новому отчёту BloombergNEF, к 2035 году дата-центры будут потреблять 106 гигаватт электроэнергии, что почти втрое превышает текущий показатель в 40 гигаватт. Этот рост связан с увеличением размеров дата-центров и нехваткой мест вблизи городов, что вынуждает их строить в более сельских районах.

  Короче, пузырь продолжает раздуваться))

[Polnoch Ксю]

В тч и инстинкт размножения, от которого у всех крыша едет, контроль теряется до абсурда)))

Rattus прав, у (взрослых) приматов нет инстинктов. Инстинкт это детальная программа. Вот, например, строительство плотины у бобров, гнезда у птиц или миграции  - это сложная врожденная программа, похожая на обычное программное обеспечение.

А тяга к противоположному полу это врожденное желание - человек, ровно и другая обезьяна, разумом придумывает стратегию как добиться желаемого, она не жёстко закодирована. Это именно на промт для LLM очень похоже - она тоже думает, как сделать то, что от неё спросили в промте - у неё есть внутренняя потребность исполнить промт.

Оно так и будет!)) Даже я уже подумываю, по приколу, а не принять ли в этом участие, научить эти ИИ делать "плохие вещи", и "плохие идеи" подсунуть)) Вдруг прокатит, и наконец то тотальный Армагедон начнется долгожданный, после которого человечество немножко одумается ! )) 

К счастью, этому нужно учиться, у Вас ничего не получится. Вот я не смогла бы натренировать Rogue AGI/ASI. А какой-нибудь Илья Суцкевер смог бы.

ИИ взамкнет цифровые системы , наступит информационный коллапс, люди отвалятся от мониторов, и пойдут гулять на улицу, как в том мультике про кота, который испортил все телевидение, взамкнул антенны))  Нормальная настоящая жизнь начнется!

не, это не так будет выглядеть. Фильм терминатор немножко ближе к тому, что можно ждать, но и он очень далек от того, что нас ждёт в реальности: в нём ИИ показан сильным, опасным (все виды терминаторов), но тупым, который можно обхитрить. В реальности злой ИИ будет и сильным и опасным (биологическое оружие, киллботы - автономное оружие мы сами создаём, оно следствие конфронтации в мире и так называемой геополитики), но при этом и запредельно хитрым манипулятором