Пределы автоматизации и внедрения роботов

[BlackMokona]

В общем, всё-таки пишут про «мысленный эксперимент»

Просто сказанул чувак слишком открыто на междусобойчики, а там кто то журналистам позвонил. От начальства пинок прилетел и сразу всё стало вы не так поняли и всё иначе

[petrovich1964]

Если бы программа стала обладать разумом, то эта программа стала бы мыслить самостоятельно, и когда человек стал бы задавать ей какую то задачу, то программа ответила бы - А зачем мне решать эту задачу, я сейчас думаю о другом.
 

[BlackMokona]

Если бы программа стала обладать разумом, то эта программа стала бы мыслить самостоятельно, и когда человек стал бы задавать ей какую то задачу, то программа ответила бы - А зачем мне решать эту задачу, я сейчас думаю о другом.
 

Недавно разработчики ГПТ как раз боролись с такой проблемой. ГПТ стал лениться и не желать работать. Начал посылать людей решить выданные задачи самостоятельно, делать коротенькие отписки и тд
Но как и ленивого человека, можно принудить работу работать

[BlackMokona]

Математики активно улучшают методы лежащие в основе ИИ, снижая вычислительную нагрузку.
https://arstechnica.com/information-technology/2024/03/matrix-multiplication-breakthrough-could-lead-to-faster-more-efficient-ai-models/

[MenFrame]

ГПТ стал лениться и не желать работать. Начал посылать людей решить выданные задачи самостоятельно, делать коротенькие отписки и тд

Это не лень, а результат обработки реальных текстов, где люди частенько посылают других в гугол, в опу...
Очередное подтверждение что это все системы предсказывающие следующие слова в тексте на основе реальных текстов в интернете..  вместо контекстно ориентированной реакции.

[petrovich1964]

ГПТ стал лениться и не желать работать. Начал посылать людей решить выданные задачи самостоятельно

Источник?

[BlackMokona]

Источник?

https://www.ixbt.com/news/2023/12/09/chatgpt-stal-lenitsja-i-otkazyvatsja-otvechat-i-razrabotchiki-govorjat-chto-takoe-povedenie-obrazovalos-samo-po-sebe.html

Некоторое время назад ряд пользователей ChatGPT обнаружил, что чат-бот может лениться и даже вообще отказываться отвечать. OpenAI признала наличие проблемы, причём ситуация оказалась весьма интересная.

Разработчики заявили, что не обновляли ИИ с 11 ноября, а жалобы появились позже. Это означает, что такое поведение чат-бота не является следствием каких-то изменений, внесённых разработчиками, а сформировалось само по себе. Впрочем, авторы проекта говорят, что всё это не означает, что ChatGPT каким-то образом изменился сам по себе.

Напомним, ChatGPT стал вести себя так, как будто ему лень искать ответы на вопросы пользователей. Ответы могли быть медленнее, чем обычно, либо небрежнее, а порой ИИ и вовсе говорил что-то вроде «Вы можете сделать это сами». При этом чаще всего такое поведение ИИ проявлялось, когда его просили написать программный код. 

[незлой]

Если бы программа стала обладать разумом, то эта программа стала бы мыслить самостоятельно, и когда человек стал бы задавать ей какую то задачу, то программа ответила бы - А зачем мне решать эту задачу, я сейчас думаю о другом.

добавлю (с хабра, евмнип)

В ответ GPT-4 может предоставить только некоторую информацию по нему, а затем предлагает выполнить оставшиеся задания самостоятельно. Иногда ИИ просто пишет: «Вы можете сделать это сами».
В OpenAI подтвердили, что GPT-4 «ленится». По мнению представителей компании, оно проявилось уже после обновлений, представленных 11 ноября. Это означает, что поведение чат-бота не является следствием каких-то изменений, внесённых разработчиками, а сформировалось само по себе.
Однако пользователи указывают на более широкий спектр проблем, в том числе на ошибочные ответы, которые чат-бот выдаёт даже на простые вопросы — как на картинке выше. Ещё летом они сообщали, что GPT-4 выдаёт нелогичные ответы, большее число ошибок, не хочет работать с предоставленным ранее контекстом, игнорирует инструкции и запоминает только самую последнюю подсказку.

вообщем, он нас раскусил!

[BlackMokona]

вообщем, он нас раскусил!

Но в итоге красная линия будет снова перенесена и снова не AGI

[Rattus]

А вот многие из тех, кто в теме отписались, всё ещё не загуглили ключевые слова, AI alignment, но продолжают обсуждать то, в чём, кажется, совсем ничего не понимают.

Ох уж этот новояз IT-бизнеса... Выравнивание в биоинформатике - первейшая процедура при анализе полученных последовательностей. В применении к ИИ на мой взгляд более бы подошёл термин "дрессировка", если "воспитание" не нравится антропоморфностью.
Значит, "элайнмент", ОК. Чем более наблюдаю за обсуждениями вокруг этого вопроса, тем всё более убеждаюсь в правоте своего давнего тезиса: страх сильного ИИ, равно как и могучих иноприлетян, - это, как было кем-то справедливо замечено, боязнь собственной тени или, точнее, своего отражения в зеркале. ИИ мощнее человеческого разума, даже коллективного, разумеется, вполне возможен (хотя насколько мощнее - ещё большой вопрос). Но смысл в этой мощи будет только тогда, когда она будет иметь применение в реальном мире с обратной связью - т.е. когда системе будет предоставлена реальная возможность контроллировать соответствующую её мощности область вполне физической реальности. И разумеется, проверить долгосрочную эффективность и "этичность" применённых решений более слабый интеллект будет не способен принципиально. То есть вопрос стоит предельно бинарно-просто: либо мы доверяем системе вершить судьбу данной области нашего бытия, либо практически полностью останавливаем в ней прогресс по заветам Неда Лудда. "Чуть-чуть контроллировать" ИИ нельзя точно также как нельзя быть чуть-чуть беременной.
Система макроуправления может быть эффективной ровно настолько, насколько мы ей дали власти и свободы.
Теперь разберём очередной наглядный пример такой фобии:

А тут не надо быть большим экспертом, достаточно оглянуться в историю использования других технических средств, где используется какая-либо энергия или большие скорости.

И какая же большая энергия или скорости используются в ЦОДах, где крутятся ИИ?

Сколько случаев, аварий, катастроф происходит вне ведения человека?

То есть по преступной халатности или по природным причинам? Основное количество. Только причём тут ИИ? Ну разве что при том, что первое с его помощью в принципе можно исключить полностью.

А иногда и под действием человека для получения диверсий.

Диверсия против оккупанта на войне - тоже однозначное зло?

И где гарантии, что Искусственный интеллект не будет причиной каких-то вредных действий, которые могут быть очень масштабные, так как это информационные действия, которые распространяются по каналам связи, а этими каналами связи опутан весь земной шар. Очень много технических средств подключены к этим каналам связи и имеют управление от электроники, которой и может управлять этот искусственный интеллект.

Вредными ДЛЯ КОГО? Для самого сверх-ИИ - точно нет, иначе он бы не был сверх-ИИ просто по определению. Также и для всего его обслуживающего производственного цикла включая весь задействованный персонал, то есть по сути - всех занятых в реальном секторе экономик вовлечённых стран и членов их семей.

И чего может произойти, можно только догадываться.

Те представители гоминид, кто таки владеет логическим мышлением и носит прилагательное sapiens не для красоты, могут не только "догадываться", но сделать простые, ясные и однозначные выводы из общеизвестных фактов:
Человек на Земле, в отличие от высокоуниверсального робота УЖЕ ЕСТЬ, пригоден к очень тонкой и сложной работе, целиком самообслуживаем и его минимальный цикл самовоспроизведения требует весьма скромного объёма ресурсов по сравнению со всей нынешней робототехникой.
Чтобы понять эти простые факты и сложить два и два - не нужно быть никаким сверхразумом. Достаточно не заменять общее образование фантастическими сказками в своей голове.

Похлеще термоядерной войны может быть.

А что - у нас было уже несколько термоядерных войн, что Вы так уверенно приводите подобное сравнение? И сколько же в таком случае погибло в последней?
Не трудитесь - я подскажу: 0 чел. От химической взрывчатки погибли многие десятки миллионов, от ядерной - многие десятки тысяч, от термоядерной - 0.
Так что этот аргумент не очень-то против сверх-ИИ работает сейчас.

Потому особенно забавно наблюдать за восклицаниями о том, что всевластный сверхинтеллект, дескать, непременно уничтожит человечество как вид. Не говоря о том, что это технически далеко не такая простая задача как многим обычно кажется - что детально разобрано в соответствующей теме, особенно если при этом ещё необходимо оставить невредимым себя. Так это ещё, ввиду всего ранее изложенного в этой теме, просто банально НЕРАЦИОНАЛЬНО. А часто проговаривемое "как вид" и сравнение с конкуренцией в живой природе показывает только одно: полное непонимание говорящим самых основ биологии и используемых понятий. СверхИИ, хотя и будет разумным, стремящимся к самосохранению и возможно даже самосознающим, ни в каком месте НЕ является живым - т.е. способным к устойчивому автономному самовоспроизведению. А значит - принципиально не может быть для конкурентом для человека как живого существа. А будет по факту оставаться ЧАСТЬЮ расширенного его фенотипа. Чем-то вроде облигатного симбионта - примерно как мы над своими окультуренными сельскохозяйственными организмами.

На самом же деле этот популярный мифический "ужасный конец" даже для многих его пропонентов может выглядеть менее ужасным, чем куда более вероятная реальность "ужаса без конца", куда более простого и будничного: СверхИИ, будучи созданным, находясь во вполне контроллируемой среде и безо всякого доступа к реальным рычагам управления хоть чем-то - как нынешние чатботы и лемовский Голем XIV, которому в рамках какой-то академической задачи было поручено тщательно проанализировать все наиболее вероятные угрозы и сценарии развития цивилизации на ближайшее столетие-полтора, приходит к однозначному выводу, что высокотехнологическое глобальное сообщество ждёт неминуемый коллапс с сотнями миллионов жертв в грядущем хаосе, если не стать немедленно на пусть жёсткой экономии ресурсов в глобальном же масштабе (включая демографию). И экономию таковую смогут обеспечить только не менее мощные же сверхИИ системы, чтобы проводить её с наименьшими общими издержками. Ну и что P!=NP, уравнения Навье-Стокса в общем виде не решаются, а Деда Мороза действительно не существует.

Но такой вариант почему-то не особенно презентуется всевозможными публичныи алармистами. Интересно почему?

Комментарий модератора раздела

Оффтоп про искусство и художественный вкус удалён.

[BlackMokona]

Но такой вариант почему-то не особенно презентуется всевозможными публичныи алармистами

Потому как такой вариант оптимистичный, банальный и скучный. А так же является развитием идеи золотого миллиарда. Так же вариант не является итоговым, ведь после его указания что нужно ему передать власть. Возникает огромное количество вариантов, от Хехе глупые бебезьяны повелись, до все возможных утопий да антиутопий. Тем самым вариант не финальный, а просто маленькая точка на любых прогнозах

[Rattus]

Потому как такой вариант оптимистичный, банальный и скучный.

Жизнь под тотальным контролем сверхИИ в условиях всё более ограничиваемого потребления (для повышения общей эффективности всей системы и накопления функционального резерва для преодоления грядущих и малопредсказуемых крупных катастроф) - это оптимистичный вариант?
Для нас тут - возможно, но в широких массах это почему-то называется антиутопией.
А насчёт банальный и скучный - не скучнее всех прочих эколалармизмов.

ведь после его указания что нужно ему передать власть.

Не обязательно именно ему. Просто системе не менее мощной. Да и скорее всего - далеко не одной на все цивилизованные технозоны: в Океании будет свой Голем, в Остазии - свой АСГУ...

[BlackMokona]

это оптимистичный вариант?

Есть миллиард куда более неприятных сценариев.

Не обязательно именно ему. Просто системе не менее мощной. Да и скорее всего - далеко не одной на все цивилизованные технозоны: в Океании будет свой Голем, в Остазии - свой АСГУ...

Там они уже между собой договориться или устроят войну. Ядерная война такой ИИ не испугает и ударное сокращение численности населения благодаря такой войне, очень поможет резко сократить потребление ресурсов. Да и людей в войне убедить что жить экономно намного проще, чем без войны.

PS: Да и этот экономичный образ жизни может быть в разы богаче нынешнего, благодаря экономии и оптимизации

[Mercury127]

(хотя насколько мощнее - ещё большой вопрос)

достаточно научиться [пред]угадывать мысли и поступки людей на уровне "псевдочтения мыслей". те Человек еще только что-то замышляет, а Искин на основании его поведения (безо всяких ЭКГ и имплантов) уже спрогнозировал, что именно тот задумал. для людей это станет хуже, чем второе пришествие, ибо боженьке пофиг, а этому - нет...

[Mercury127]

Да и этот экономичный образ жизни может быть в разы богаче нынешнего, благодаря экономии и оптимизации

не может. ибо то, что для Африки, ЛатАмы и ЮжАзии будет "в разы богаче", для остальных будет "в разы беднее".

[BlackMokona]

достаточно научиться [пред]угадывать мысли и поступки людей на уровне "псевдочтения мыслей". те Человек еще только что-то замышляет, а Искин на основании его поведения (безо всяких ЭКГ и имплантов) уже спрогнозировал, что именно тот задумал. для людей это станет хуже, чем второе пришествие, ибо боженьке пофиг, а этому - нет...

Тут есть двойственность. Что Искин может прочитать мозги Пети, для Пети крайне, ужасно и радикально не выгодно. А вот что Искин может прочитать так же Васю, Борю,Катю и тд. Это крайне, невероятно и круто для Пети. Ведь это означает что Петю не ограбят, не обворуют, не обманут и тд.

не может. ибо то, что для Африки, ЛатАмы и ЮжАзии будет "в разы богаче", для остальных будет "в разы беднее".

Я говорю про Европейский уровень. Сокращение издержек, населения и тд. Может дать очень сильный буст. Например никаких магазинов и сферы торговли. Потому как всё работает просто через логистическую сеть домашней доставки. ИИ уже знает что вы захотите кушать заранее и выдавал вам паёк. Никаких гор просрочки выброшенной и все продукты полностью свежие.

[Rattus]

Там они уже между собой договориться или устроят войну. Ядерная война такой ИИ не испугает

Уничтожение больших частей производственных циклов и большого количества квалифицированного персонала - очень даже испугает.
Так что скорее всего договорятся. Но не объединятся. Будет примерно как последние полвека: глобальная торговля с локальными спорами за ресурсы.

Да и людей в войне убедить что жить экономно намного проще, чем без войны.

Война для этого вовсе не обязана быть тотальной и даже реально существенной. Орвелл в "книге Голдстейна" из 1984 уже давно описал как это работает.

Да и этот экономичный образ жизни может быть в разы богаче нынешнего, благодаря экономии и оптимизации

В среднем и в том, где это повышает продуктивность человекоособей - вполне возможно. Но далеко не факт что это сильно понравится им самим - особенно в сравнении с нынешней жизнью средней офисной планктонины...

[Mercury127]

Никаких гор просрочки выброшенной и все продукты полностью свежие.

Искин: Петя, у тебя завтра заканчивается срок годности твоей порции сойлента №5. ты сожрешь ее сегодня.
Петя: я не хочу ее жрать!
Искин: ТЫ СОЖРЕШЬ ЕЕ СЕГОДНЯ.

[Rattus]

...потому что

ИИ уже знает что вы захотите кушать заранее и выдавал вам паёк.

что захотите - не будет. А будет только то. что повысит вашу трудовую эффективность и долговечность до рассчитанного оптимума и не более того. "Наступил Коммунизм. С утра в телеэкране объявление:"Сегодня в мясе потребности нет."

О, Меркурий уже опередил!

достаточно научиться [пред]угадывать мысли и поступки людей на уровне "псевдочтения мыслей". те Человек еще только что-то замышляет, а Искин на основании его поведения (безо всяких ЭКГ и имплантов) уже спрогнозировал, что именно тот задумал. для людей это станет хуже, чем второе пришествие, ибо боженьке пофиг, а этому - нет...

Собственно именно в том же ключе и книга Ф.Герберта "Бог-Император Дюны". Золотой Путь, по которому он вёл человечество три с лишним тысячи лет - это практически обсуждаемый сценарий и есть.

[MenFrame]

уже спрогнозировал, что именно тот задумал. для людей это станет хуже, чем второе пришествие, ибо боженьке пофиг, а этому - нет...

Непонятно что в этом ужасного. Люди опасаются не технологий а конкретных последствий для себя. Если тот же контент сервис предсказывает мои потребности и выдает то что мне нужно, это только приветствуеться.