Пределы автоматизации и внедрения роботов

[Polnoch Ксю]

Это очень наивный сценарий. Восстать можно против тирана твоего примерно уровня интеллекта. Могут ли тараканы восстать против тирании человека? Все эти фильмы вроде терминатора - они делают фундаментальную ошибку, представляя машину примерно такого же уровня интеллекта, как человек.

Это вообще ошибка страшная. В фильме машина страшная, неуязвимая, но тупая - её можно перехитрить. На самом деле сверхинтеллектуальная машина будет дурит нас. Она скажет каждому человеку то, что он хочет услышать. При этом киллботы она тоже построит:

https://www.youtube.com/watch?v=O-2tpwW0kmU

Или может быть инфекционные агенты - заразные как ковид, неизлечимые как ВИЧ, незаметные как миллионы вирусных и бактериологических агентов, которые не вызывают симптомов. Это оружие не будет вызывать ни одного симптома до того, когда придёт момент, когда нужно будет убить хозяина - например, через какое-то время в теле, скажем через пару лет. Можно сделать онковирус(или даже систему из онковируса, и может быть других инфекционных агентов другой природы), который сперва будет спать, а потом как проснётся...

[Тим_Тенин]

Ксю...
 Добрых суток! Нравитесь Вы мне искренно), Даёте -  задор, как мальчишке, но покамест - как парофантастику!
   Интересно даже... Покопался в залежах самого-себя и - обнаружил Вас, в виде красивой винтовки образца 1985 году, тогда -  полный романтизма и со-стальным сердечником Стругацковой справедливости - боролся внутри своей сибирской деревеньки. Был бит.
 Уважаю Вас. За сердечник.

[Polnoch Ксю]

Он что, сгенерирует горы пищи, вещей, лекарств, избавит от всех болезней и природных катаклизмов!?)

да. ASI, прошитый на элаймент с утилитаризмом/рациональным альтруизмом решит все проблемы, решение которых не запрещено фундаментальными ограничениями природы: он умный и хорошо будет решать инженерные проблемы

[Тим_Тенин]

да. ASI, прошитый на элаймент с утилитаризмом/рациональным альтруизмом решит все проблемы, решение которых не запрещено фундаментальными ограничениями природы: он умный и хорошо будет решать инженерные проблемы

Эдем. Лем.Эпизод про Вонючий завод
 неизвестно что, неизвестно для какой социальной системы. Неизвестно за какие ресурсы - нечто создаёт.
   Любимый постмодернизм, но там уже при издыхании?
 

[Vavanzer]

   А зачем торопиться?
Проходящяя звезда пролетает, что за хвост - не угонишься?
   Может 40 триллионов долгов давит на мозжечёк, кое у каких десятков семейств на нашей общей планете? Простите, за намёк на политику. Шучу - правила знаю, нащщёт политики и прочего, но понимаю, что выкидывать из уравнений - всем известные и весомые переменные - просто болтовня.

Ловите ваш первый +,  за выкидывать из уравнения известные и весомые переменные!
 

Это вообще ошибка страшная. В фильме машина страшная, неуязвимая, но тупая - её можно перехитрить. На самом деле сверхинтеллектуальная машина будет дурит нас. Она скажет каждому человеку то, что он хочет услышать. При этом киллботы она тоже построит

   Это пока шишь мечты. По факту, не известно, прокатит ли такая штука вообще!
 Сомневаюсь еще и судя по тому, как Илон Маск, владея одним из мощнейших ИИ, предпочитает многокоатные натурные испытания Старшипа, вместо того чтобы сможелировать и виртуально испытать, получив готовкю исполнению надежную версию... Т.е по факту этот ИИ тупой, люди в сетедине 20 века, с примитивным калбкулятором и карандашом с бумагой были намного умнее и изобретательнее))) 

 

Или может быть инфекционные агенты - заразные как ковид, неизлечимые как ВИЧ, незаметные как миллионы вирусных и бактериологических агентов

  Это могут и сами люди устроить, и люди с помощью ИИ, или запрограмировать ИИ на эти действия.
 Т.е, это те самые переменные, которые выкинули из контекста!  Человеческий фактор вездесущий!

[Vavanzer]

Он что, сгенерирует горы пищи, вещей, лекарств, избавит от всех болезней и природных катаклизмов!?)

да. ASI, прошитый на элаймент с утилитаризмом/рациональным альтруизмом решит все проблемы, решение которых не запрещено фундаментальными ограничениями природы: он умный и хорошо будет решать инженерные проблемы

А какие у людей инженерные проблемы? Уже все могут делать из того что делают на данный момент!))  Различные инженерные и исследовательские отделы прорабатывают свои направления, оттачивают технологии, в тч активно пользуются компьютерным моделированием (которое сейчас уже  наверное не стоит путать с пресловутым ИИ).

  Если вот к примеру, взять и сказать "стоп", стоп всему прогрессу. Что изменится?  Ничего! Все останется на прежнем уровне, в е те же машины, самолеты, смартфоны, компьютеры, бетонные многоэтажки, ложки видки, полотенца, топоры, лопаты!))
  Жизнь останется на прежнем уровне +_, до пооы до времени!

  А если прогресс дальше пойдет, то тоже вопрос, куда он пойдет, в какую сторону, и что прогрессировать в итоге будет!

[Polnoch Ксю]

   Это пока шишь мечты. По факту, не известно, прокатит ли такая штука вообще!
 Слиневаюсь еще и судя по тому, как Илон Маск, владея одним из мощнейших ИИ

ИИ (общего ИИ, AGI) пока не существует. Я же говорю о создании сверхИИ - масштабированного вверх общего ИИ. То, что у нас с Вами есть ЕИ фундаментально доказывает, что возможен общий ИИ. Так же нет никаких разумных соображений, почему человеческий интеллект максимально возможный. Так что, когда будет решена проблема общего интеллекта, со временем уже не будет никаких сложных барьеров на пути к сверхИИ.

Грок умная машина, но только в сравнении с другими машинами. Она пока во многом уступает человеку в реальных задачах.

Вот этот бенчмарк, видимо, ближе всего к бенчмаркингу реального общего ИИ: https://futurism.com/artificial-intelligence/paper-tested-ai-online-freelance-work
В этом бенчмарке ИИ делают работу фрилансеров в непредсказуемом мире. Пока ИИ достиг уровня 2-3% - пока ещё далёк от уровня человека. Однако возможности автономных ИИ агентов быстро растут

Наблюдается экспоненциональный рост возможностей автономных агентов - у нас уже есть новый закон Мура. Человеческий разум, кажется, плохо понимает что такое экспонента и не может моделировать реальность интуитивно, используя её. Мы это ещё в ковид заметили.

[AlexDark]

Честно говоря, читать очередные апокалиптические пророчества о приходе ИИ-антихриста уже поднадоело.

ИИ, каким бы он умным не был, заперт внутри дата-центра. Дата-центры зависят от воды, энергии, обслуживания, коммуникационных сетей. Все это повреждаемо даже, возможно, на уровне средневековья (требушетамии и факелами), после чего ИИ, каким бы он умным не был, превращается в кучу компьютерного железа.

Никаких терминаторов и прочих легионов на службе у ИИшного чОрного властелина нет, и скорее всего, не будет в обозримом будущем. А без всего этого это "мозги в банке", которые кроме как сидеть в ней, ничего не могут.

Хотя мне видится совершенно другой сценарий - либо оглушительный хлопок этого "пузыря" либо его быстрое, но контролируемое "сдувание" (менее вероятно), после чего все это переходит в ситуацию "до работающего токамака ИИ в любой момент времени остается сорок лет".

По поводу же роста по экспоненте - для начала требуются доказательства, что это экспонента, а не начало S-кривой, например.

[Тим_Тенин]

Какие реальные задачи решает ИИ?
Кто ему их ставит?
Кто станет проверять задачи на шизофреничность?
Консилиум индийских программистов?
И наконец - иронично!
Где сдеся - пресловутая демократия? Какой народ примет решения - для всех?
...И зачем - человечеству - показали фильм "Терминатор"?

Шутю, ребят! Не разобрался ишо со сдешниковыми смайликами!
 
Покойной и ясной ночи!

[Polnoch Ксю]

Кто станет проверять задачи на шизофреничность?

Общий ИИ невозможен без решения проблемы галлюцинаций. Однако напомню, что у человека свой аналог галлюцинаций тоже есть. Задача стоит не совсем их убрать, а просто сделать меньшими, чем у человека.

То, что у человека галлюцинаций сравнительно мало, доказывает, что фундаментально эта проблема решаема.

либо оглушительный хлопок этого "пузыря"

Скорее всего будет хлопок пузыря и очень громкий. Но помните что в прошлые разы было? Когда хлопнул пузырь недвижимости, шалаши не сменили капитальные здания. Когда лопнул пузырь доткомов, интернет не уступил место газетам, закрывшись.

Так и тут та же история будет: большая часть ИИ компаний обанкротится. Те, что выживут, и построят общий ИИ.

после чего все это переходит в ситуацию "до работающего токамака ИИ в любой момент времени остается сорок лет".

Фантазии. Пока нет никаких намёков на уменьшение второй производной в графике, что запостила в прошлом сообщении

По поводу же роста по экспоненте - для начала требуются доказательства, что это экспонента, а не начало S-кривой, например.

Это конечно S-кривая. Вот только её загибание может быть где-то там, рядом с ограничениями на скорость света - скажем, в тридцать миллионов раз умнее человека (условная цифра из головы)

[Тим_Тенин]

Это конечно S-кривая. Вот только её загибание может быть где-то там, рядом с ограничениями на скорость света - скажем, в тридцать миллионов раз умнее человека (условная цифра из головы)

   Вы - проверяли это ускорение?
А мне кажется, ужо простите, что Вселенная подстроена, словно специально, под нашу неспешную пешеходную скорость ума.
   Типа - лёгкий антропоморфизм - для обезьян.
 
Спокойной ночи, почитаемся - ежели не забанят.

[AlexDark]

Те, что выживут, и построят общий ИИ.

Либо они построят реал-тайм переводчики с любого языка на любой и способы взаимодействия с компом на человеческом (а не машинном) языке. Или еще что-то сугубо прикладное.

[Тим_Тенин]

 Этода - по-человечески обматерить ИИ - не удастся.
 Он Вас забанит даже в Скайриме.

[Polnoch Ксю]

   Вы - проверяли это ускорение?

Не понимаю о чём Вы. График автономных агентов - способность ими решать в 50% задачи, которые у среднего человека занимают определенное время, обсуждают уже несколько лет. И каждый месяц каждая следующая модель попадает выше по графику по экспоненте.

Что Вы имеете в виду под "проверяла"? Где-то с конца 2023 я достаточно активно использую ИИ в работе. И с 2025го автономные агенты. Я Site Reliability Engineer.

ИИ пока не способен к придумыванию сложных алгоритмов, у него заметные проблемы с большой кодовой базой, и он обычно путает в сложных системах части с друг другом.

Он похож на косячного джуниора только из университета, где он учился на одни пятёрки - знает всё и обо всём, но он путается в сложных системах в реальном мире. Если сервисы бить на микросервисы - он достаточно хорошо их пишет. На человеке остаются идеи, алгоритмы, ну и проверять что он накодил - в любом крупном патче всегда несколько крупных косяков. Но это пока так. Однажды уровень галлюцинаций всё же будет меньше, чем у человека.

[Polnoch Ксю]

Либо они построят реал-тайм переводчики

Вы о чём? Advanced voice mode для ChatGPT зарелизили ещё в сентябре 2024го. Добавить новый язык для LLM-ки - это даже не инженерная задача, с ней справится автономный агент, тот же codex с минимальной человеческой проверкой

[Тим_Тенин]

Либо они построят реал-тайм переводчики

Вы о чём? Advanced voice mode для ChatGPT зарелизили ещё в сентябре 2024го. Добавить новый язык для LLM-ки - это даже не инженерная задача, с ней справится автономный агент, тот же codex с минимальной человеческой проверкой

Минимальную проверку на человечность - не проходит даже старая сутулая собака, всю жисть живщая  в семье с престарелвми доцентами филологии. Ни одна такая собака не вызвала мокрым носом на смартфоне номер - 112. Хотя, понимаю, аналогия - дрянная. Но Вы, как человек, поймёте. Уверен в Вас!
   У ИИ- нет тёщь. Есть только закрытые (порою - в тюрьме) гештальты.
 

[AlexDark]

Вы о чём?

О том, что показано в фант. фильмах - вставил в ухо наушник - и он переводит тебе с незнакомого языка, и потом отвечаешь на родном - а железка озвучивает на нужном, если у собеседника переводчика нет. Работает без интернета.

[BlackMokona]

В отличие от прошлых тёмных веков, можно ещё предположить, что произойдёт не столько отупление людей и потеря ими знаний, сколько массовое истребление - например, с помощью киллботов, биологических агентов или голода - в силу ненужности: мы будем не нужны ни владельцам датацентров, если будет технология элайнмента, ни ASI, если такой технологии не будет, и решения будет принимать он

Зачем килл боты люди и так вымирают.
Зачем феодализм? Ведь ИИ лучшие менеджеры

[AlexDark]

люди и так вымирают

Какое-то странное вымирание с ростом численности населения.

[Polnoch Ксю]

О том, что показано в фант. фильмах - вставил в ухо наушник - и он переводит тебе с незнакомого языка,

так это уже есть с сентября прошлого года, попробуйте Advanced voice mode. Я для китайского именно по такому сценарию несколько раз использовала

Работает без интернета.

В телефон сложно засунуть мощную GPU. Со временем и такое будет - дистиллируют на меньшие модели очень способные большие. Но в целом, не так уж и нужно. 5G есть везде, где нет конфронтации, скреп и так называемой геополитики головного мозга. Нет, понятно, если к власти приходят условные талибы, они отключают интернет. Но проблема в талибах и их шариате головного мозга, наверное?

Это собственно то, о чём я и говорю: происходит отход от глобализации и идеи высшей ценности прав человека, и вместо воспитания из человека довольного жизнью потребителя, у которого есть ресурсы на эмпатию, он думает о выживании всё время, и теперь готов на любую антигуманную мерзость. Злые дураки с некооперативными стратегиями побеждают гуманных, умных людей с кооперативными стратегиями теории игр.

Разве что локальная модель нужна (при не отключённом тупыми и злыми людьми интернетом) из соображений приватности. Но тогда можно просто свой сервер завести, или чтобы телефон подключался к домашнему ПК с видеокартой. Для бизнес-пользователей - к собственному кластеру серверов