Пределы автоматизации и внедрения роботов

[Metatron]

Интересное разделение:
- Теоретики - считают что нынешние системы не способны достичь AGI. Как сделать системы способные к AGI не знают - но думают что это займет 10 лет. (Хассаби из DeepMind,Карпати)
- Практики - с каждым апдейтом системы улучшаются, когда они перестанут улучшаться мы не знаем. Есть все шансы, что следующая система уже будет уровня AGI. (Альтман, Маск)

Причем улучшение идет не на уровне теории - а на уровне программирования. Лучшие алгоритмы, оптимизация кода.

Но теоретики говорят что Практики врут для привлечения инвесторов.

Ну и кому тут верить...

[Metatron]

>>>В конце концов дело может вступить в такую стадию, что решения, необходимые для сохранения работоспособности системы, будут настолько сложными, что люди окажутся просто неспособными благоразумно разрешить их.

Опять боязнь неизвестного. Сейчас таких суперсложных решений нет - но если передать все ИИ - то такие решения появятся. Откуда?

Очередная страшилка. Не ходите дети в Африку гулять - там Бармалей...

[BlackMokona]

Опять боязнь неизвестного. Сейчас таких суперсложных решений нет - но если передать все ИИ - то такие решения появятся. Откуда?

ИИ уже проявил себя в инженерии, конструируя невероятно сложные, запутанные и непонятные людям схемы. Но при этом более эффективные чем у людей на практике. Если представить что социальные, законодательные и прочие практики будут так же переданы машинам. Они могут выстроить крайне запутанные системы в них. А людям придётся их исполнять, не понимая как работает. Вот кушает в прямом эфире великий лидер вишневый пирог каждый четверг и вуаля стабильность в стране. Почему? Как ? Что? Но работает. А потом бах и перестаёт. Машина говорит теперь нужно куриные ножки из КФС кушать и в пятницу. Почему? Как? Зачем? Но вот старое уже не работает, а новое замечательно работает.

Они работают… но никто не понимает почему
Хотя эти схемы, внешне напоминающие случайную россыпь элементов, демонстрируют беспрецедентную производительность и энергоэффективность - выше, чем у лучших образцов, созданных людьми, - инженеры не могут до конца понять, почему.

«Люди не могут их понять, но они могут работать лучше»
— Каушик Сенгупта (Kaushik Sengupta), ведущий исследователь проекта.

ИИ не ограничен нашими привычными представлениями о “правильной” компоновке. Он находит оптимальные решения в пространствах, где человеческая интуиция просто теряется.

Ну и кому тут верить

Просто отбросить философию. Нету никакого значения есть ли у ИИ сознание и прочие. Если эффективность расстет то и уровень интеграции будет расти.

[Metatron]

социальные, законодательные и прочие практики будут так же переданы машинам. Они могут выстроить крайне запутанные системы в них.

Законы и прочие нормативы создаются чтобы люди их выполняли и им следовали. Если вы создаете закон который слишком сложен для понимания - его никто не будет выполнять.
Поэтому такие законы никогда не появятся. (Не должны - на самом деле бюрократия сама создает законы противоречащие другим законам, и законы допускающие двойное толкование)

Все таки все эти страшилки предпологают некую единую ИИ которая будет прикидываться хорошей, но потом, усыпив бдительность людей, начнет втихую делать им гадости.
В реальности - систем ИИ будет множестов. Причем разного уровня. И никто не мешает решения принятые ИИ высокого уровня - проверить системой немного ниже уровнем. Она не будет радикально тупее ИИ высокого уровня, так что обмануть ее будет невозможно.

[Olweg]

Во многом перекликается со знаменитым "Манифестом" недавно скончавшегося Унабомбера.

Похожие мысли высказывал также Голем XIV, a.k.a. LEM*:

Теперь я снова могу вернуться к сказке о трех путях. Если вы пойдете по первому, горизонт вашей мысли не вместит всех знаний, необходимых для языкового творения. Конечно, барьер этот не абсолютен. Вы можете его обойти при помощи высшего Разума. Я или кто-то подобный мне смогли бы дать вам плоды этих знаний. Но только плоды, а не самые знания, поскольку ваш ум не вместит их. Так что вы, как ребенок, будете отданы под опеку; вот только ребенок, вырастая, становится взрослым, а вы уже не повзрослеете никогда. Как только высший Разум дарует вам то, чего вы постичь не сможете, он угасит ваш собственный разум. Именно об этом предупреждает надпись из сказки: выбрав эту дорогу, вы не сбережете голов.

(кликните для показа/скрытия)

* Согласно наиболее крайним версиям, LEM даже был человеком.

[BlackMokona]

а вы уже не повзрослеете никогда.

Это спорно, потому как генетическую модификацию и прочию прокачку никто не отменял

[Olweg]

А это вторая развилка, которая в книге тоже рассматривается: «Если вы пойдете по другому пути, не соглашаясь отречься от Разума, вам придется отказаться от себя, а не только совершенствовать мозг, поскольку его горизонт невозможно раздвинуть достаточно широко.»

[Metatron]

С изобретением велосипеда, попытки изобрести велосипед не прекратились.
Всегда найдется кто-то кто захочет сам сделать что-то свое.

Так что все эти речи о том, что человечество поглупеет... Поглупеет, тот кто не захочет умнеть.

В крайнем случае откатимся к состоянию на начало 19-го века. 90 процентов неграмотного/условно грамотного населения, 9% людей с каким-то образованием, полученным либо ради удовольствия либо ради статуса. И 1% людей которым по прежнему интересно чем-то заниматься и которые будут этим заниматься невзирая на то что все это можно перепоручить ИИ.

[skvj]

Интересное разделение:
- Теоретики - считают что нынешние системы не способны достичь AGI. Как сделать системы способные к AGI не знают - но думают что это займет 10 лет. (Хассаби из DeepMind,Карпати)
- Практики - с каждым апдейтом системы улучшаются, когда они перестанут улучшаться мы не знаем. Есть все шансы, что следующая система уже будет уровня AGI. (Альтман, Маск)

Причем улучшение идет не на уровне теории - а на уровне программирования. Лучшие алгоритмы, оптимизация кода.

Но теоретики говорят что Практики врут для привлечения инвесторов.

Ну и кому тут верить...

Себе верьте.
Я проверяю на себе. Если (когда) мой GPT получит постоянную память (примерно к 2028) я буду считать его AGI. Ну, по моим критериям.
А когда он появится в андроиде это уже будет эволюция AGI.
Выше были новости - 100 млн слов (130 млн токенов) окно можно включить любому LLM прямо сейчас.
Именно поэтому вводят безумные вычислительные мощности, а проблема только в этом.

Исчезнут будильники, ежедневники, секретари, мышки, клавиатуры - и дальше по возрастающей.
Изменится интерфейс пк.
Например, я когда перестал печатать на клавитатуре, признал GPT AGI только за это 

[Metatron]

Ну я лично эгоист. Мне собственно что от AGI надо?

Чтобы эту модельку размножить и сто тысяч таких моделек поставить в лабораторию и пускай штампуют лекарства от разных болезней, более емкие аккумуляторы, термоядерные реакторы.

Так что если ИИ сможет выдавать результаты на уровне толкового инженера или ученого - меня и такой ИИ устроит, даже если он не будет считаться AGI.

Отдельные случаи такого применения уже случаются - но пока не массово. Вот когда это будет массово...

[AlexDark]

Имхо, проблема не в том, что человечество потупеет. Проблема в том, что машины создают проблемы, которых до этого в принципе не было, и проблемы эти решить невозможно, т.к механизмов их решения нет - они либо отключены, либо не придуманы. Самый последний мой пример - ТК потеряла груз. Дозвониться и дописаться им невозможно - везде боты, которые входят в зацикленный ответ "мы разбираемся, если не разберемся - пишите нам еще, а лучше идите  к черту". Проблему удалось сдвинуть только угрозами обращения в надзорные органы, отправленной в адрес ТК бумажным письмом с уведомлением - со мной связались и посылку нашли за  3 дня, при этом я угробил на войну с роботами и их отписки три с лишним месяца. Если бы роботов (как железных, так и биороботов со скриптами)  там бы не было - проблема была решена за день, а то и меньше.
И так в очень многих сферах - везде для получения результата приходится бороться (именно бороться - преодолевать сопротивление) с  роботами вместо сотрудничества. Ладно, что это пока проблемы одного отдельно взятого человека, но вероятность того. что роботы вместо решения будут только создавать проблемы (в частности  тем, что ЛЛМ - это черный ящик) весьма велика, и  я б видел основную проблему здесь. Особенно если она касается принятия решений или коммуникации.

Пока ( и то с оговорками) я не натыкался на проблемы в области переводов и нечеткого поиска, и то в первом случае роботы иногда почему-то переводят с прямо противоположным смыслом, а во втором - врут.

[Olweg]

На самом деле, если брать отдельных представителей человечества, то ничего принципиально нового не случится - большинство и сейчас очень смутно представляют себе принцип работы различных технологий и систем, которые поддерживают современную цивилизацию. И даже специалисты, как верно подметил в своё время Козьма Прутков, подобны флюсу. Если говорить о контроле, то иллюзия контроля может сохраняться, причём на разных уровнях. Вопрос опять же в том, до какой степени люди способны управлять даже собственной жизнью, потому что охватить все важные факторы человек просто не в состоянии. Не говоря уж про более высокие уровни общественного и экономического управления.

[skvj]

Имхо, проблема не в том, что человечество потупеет. Проблема в том, что машины создают проблемы, которых до этого в принципе не было

Вы не просто преувеличиваете, а уже и позабыли! былые проблемы.

20 лет назад потерялся мой багаж в аэропорту. Без всяких роботов. 2 месяца я общался с живыми тупицами и хамами. Которые радостно посылали меня нах. Именно радостно. Зная, что ни за что не отвечали ,не отвечают и не будут отвечать. Кроме того, что в багаже были ценные вещи, там были печати головной московской конторы и моего филиала. Меня чуть на куски не порвали. А начальство - мои друзья были и это почти привело к окончанию отношений. Я думал меня просто обокрали и уже ни на что не надеялся.
Но багаж реально потерялся и его вернули в итоге. Весь помятый, но с печатями))

Также вы упускаете очень важную вещь. А я наслаждаюсь каждый день.
Пропала необходимость ездить за любой дрянью в магазины и ходить часами, высматривая какой-то хлам.
Сейчас купить можно всё дома, за исключением дивана.
Кухню можно выбрать онлайн. А диван нельзя. Верней можно, но это глупо. За диваном нужно ехать и сидеть на нём. Иначе будет не то. А вот кухонный гарнитур не нужно ехать смотреть - вам его покажут дома в полной красе на большом мониторе и дадут все материалы отделки на выбор. И эскиз на именно вашу кухню. Не знаю кто как, а я в магазины езжу только за диванами. Всё остальное можно покупать уже с этого дивана дома. И по сравнению с этим комфортом - даже если учесть, что ваша жалоба в какой-то части обоснована - это просто сущие пустяки.

Пока ( и то с оговорками) я не натыкался на проблемы в области переводов и нечеткого поиска, и то в первом случае роботы иногда почему-то переводят с прямо противоположным смыслом, а во втором - врут.

А я с теми же оговорками наоборот не нарадуюсь переводам.
Только одно огорчение - я почти довёл до идеала свой читабельный инглиш. А теперь и не надо получается. Обидно, слушай! ))

[Инопланетянин]

Сейчас купить можно всё дома

Но это не ИИ. Удобно, конечно, не спорю.

В крайнем случае откатимся к состоянию на начало 19-го века. 90 процентов неграмотного/условно грамотного населения, 9% людей с каким-то образованием, полученным либо ради удовольствия либо ради статуса. И 1% людей которым по прежнему интересно чем-то заниматься и которые будут этим заниматься невзирая на то что все это можно перепоручить ИИ.

Ну может быть, но дальше то что? Что эти неграмотные будут делать? На что жить, если в мире роботов надо будет поголовно иметь квалификацию для их обслуживания, чтобы быть нужным?

(кликните для показа/скрытия)

Согласно наиболее крайним версиям, LEM даже был человеком.

Не побоюсь этого слова, он ещё и Станиславом был

[skvj]

Но это не ИИ. Удобно, конечно, не спорю.

Просто вы не в курсе. В маркетплейсах один сплошной ИИ. От логистики, до ценообразования. На любом этапе.

[AlexDark]

Не знаю кто как, а я в магазины езжу только за диванами. Всё остальное можно покупать уже с этого дивана дома

А я люблю ходить по магазинам и гулять заодно, правда на тротуарах стало не протолкнуться от разных колесных курьеров и прочих драндулетов, но я не хочу покупать то, чего не вижу и не могу пощупать, померять и попробовать, как оно в руках - особенно это касается еды, одежды, обуви, инструмента и тд и тп. Да, можно заказывать, смотреть и возвращать, повторить надцать раз - но мне проще один раз прогуляться. Заодно потом в горах смотришь, как остальные ползут два часа то, что ты за 20 минут прошел - и такой комфорт - можно на полтора часа расслабиться, пока эти диванные черепахи доползут.

[skvj]

Не знаю кто как, а я в магазины езжу только за диванами. Всё остальное можно покупать уже с этого дивана дома

А я люблю ходить по магазинам и гулять заодно, правда на тротуарах стало не протолкнуться от разных колесных курьеров и прочих драндулетов, но я не хочу покупать то, чего не вижу и не могу пощупать, померять и попробовать, как оно в руках - особенно это касается еды, одежды, обуви, инструмента и тд и тп. Да, можно заказывать, смотреть и возвращать, повторить надцать раз - но мне проще один раз прогуляться. Заодно потом в горах смотришь, как остальные ползут два часа то, что ты за 20 минут прошел - и такой комфорт - можно на полтора часа расслабиться, пока эти диванные черепахи доползут.

Ой-ой-ой, какие страсти!
Специально сходил к дивану! 24 гирю на рывок обеими руками по 50 раз, забьёмся?
Я вас сделаю на любой горе.
Будете там пыхтеть с черепахами 

[Rattus]

В стабильной ветке ядра Linux 6.12.43 LTS обнаружен критический баг, который позволяет обрушить систему одной командой.
Проблему публично выявил исследователь безопасности Брэд Спенглер (основатель проекта grsecurity), заявив, что ошибка попала в релиз из-за неконтролируемого использования искусственного интеллекта при ревью.

[BlackMokona]

В стабильной ветке ядра Linux 6.12.43 LTS обнаружен критический баг, который позволяет обрушить систему одной командой.
Проблему публично выявил исследователь безопасности Брэд Спенглер (основатель проекта grsecurity), заявив, что ошибка попала в релиз из-за неконтролируемого использования искусственного интеллекта при ревью.

Никакой разницы по сравнению с не контролированым накидыванием от людей. Отделы контроля качества не зря придумали

[Baby[lone]]

Почему идея «компьютер = логика + факты» ложна
- Алгоритмы не обязаны быть «логически правильными». Многие современные системы — это не дедуктивные логические движки, а статистические модели (машинное обучение), которые аппроксимируют зависимости в данных и дают предсказания с вероятностями, а не строгие выводы. 
- «Большая база данных» ≠ «правда». Данные могут быть ошибочны, неполны, устаревшими, противоречивыми или системно смещёнными (bias). Количество не компенсирует качество. 
- «Беспристрастность» зависит от людей. Данные собирают, выбирают и аннотируют люди; модели проектируются и тестируются людьми — их ценности и ошибки вторгаются в систему. 
- Ошибки инженерии и развертывания: баги, неправильная предобработка, неверная интерпретация результатов, дрейф данных в продакшене — всё это делает систему ненадёжной в реальном мире. 
- Автоматизация порождает когнитивное искажение: люди склонны слепо доверять выводам машин (automation bias), даже когда их следует оспаривать.