Посттехносингулярный мир и искусственный суперинтеллект: как он будет выглядеть?

[Rattus]

Самоубийцей может двигать депрессия, отчаяние или какие-то другие негативные эмоции. Имеет ли эмоциональная мотивация отношение к разуму? Имеет ли вообще мотивация отношение к интеллекту?

Вопрос был не о мотивации. Вопрос был о конкретном поведении.

10 км это высота гор.

Над уровнем моря? На какой планете?

[skvj]

[Бобр-99]

Это общеизвестно.
А каково отношение к вопросу?

[AlexDark]

Почему-то мне кажется, что история о paperlcip maximazer имеет неразрешимое внутреннее противоречие, и поэтому нерелевантна. Противоречие состоит в том, что если для производства одной дополнительной скрепки надо потратить кучу ресурсов для производства  танковой колонны, которые могли быть потрачены на производство миллиона скрепок, то электронные мозги скорее всего замкнет как буриданова осла или еще как-то. Особенно если считать, что данный ИИ не может анализировать возможные исходы в будущем. И если даже предположить, что paperlcip maximazer возможен, то апокалиптический сценарий  совершенно необязателен. т.к. в результате просчетов может выясниться. что военные издержки вредят больше бездействия.

Ну и на чисто бытовом уровне - если мой робот-садовник с целью максимизации урожая яблок предложит сначала убить соседей и захватить их землю, чтобы там посадить яблони, то он будет незамедлительно отключен, распилен и сдан на лом, а во всех следующих роботов будет встроено условие, что задача должна решаться исключительно в рамках данных условий, без их изменения и расширения. Поэтому следующим роботам придется оставить идеи о мировом господстве и идти пахать в имеющемся саду.

Кстати, еще о человеческом интеллекте - почему-то человечество решило, что мозг - это некий аналог компа. Хотя я б сказал, что все наоборот - это компы некий аналог мозга. В чем-то более быстрый, а в чем-то совершенно беспомощный. И даже принципы работы у них совершенно разные - начиная от скорости передачи сигналов в нейронах и компе, заканчивая принципами обучения. Например, для ребенка достаточно пронаблюдать один объект "кот". чтобы потом опознать любого кота любого цвета в любой позе, включая мультяшных, игрушечных, стилизованных и тп, разве что нарисованного какими-нибудь кубистами-супрематистами он может не узнать. Чтобы научить комп опознавать кота, ему нужно показать миллионы котов, и то не факт, что все будет работать.

[Бобр-99]

Человечество так не решало. Лишь несколько безголовых программистов.

[Rattus]

Почему-то мне кажется, что история о paperlcip maximazer имеет неразрешимое внутреннее противоречие, и поэтому нерелевантна. Противоречие состоит в том, что если для производства одной дополнительной скрепки надо потратить кучу ресурсов для производства  танковой колонны, которые могли быть потрачены на производство миллиона скрепок, то электронные мозги скорее всего замкнет как буриданова осла или еще как-то.

Что в реальности тактика и стратегия появляются и сталкиваются лбами постоянно и на почти любом масштабе требуя уточнения (а по факту - изменения) выбора на уровне целеполагания, а в случае избрания стратегического пути. его успешность и уровень этого успеха зачастую невозможно спрогнозировать в принципе, должно быть "понятно и ежу", но не нынешним наследникам средневековых схоластов-теологов.

т.к. в результате просчетов может выясниться. что военные издержки вредят больше бездействия.

Верующие во неизбежность ИИ-опокалепсеса эту возможность с гневом отвергают. Ибо ASI ВсемогущщЪ и ВездесущщЪ и пи для него в военное время может достигать четырёх.

Ну и на чисто бытовом уровне - если мой робот-садовник с целью максимизации урожая яблок предложит сначала убить соседей и захватить их землю, чтобы там посадить яблони, то он будет незамедлительно отключен,

Подразумевается, что отключить будет уже некому и оно станет работать в режиме Машины Судного Дня.

[skvj]

AlexDark

Ваш пример с роботом-садовником))) Да, если его задача предельно жёстко зафиксирована и он не может изменять условия своей среды, он действительно начнёт творить абсурд. Но именно поэтому все современные исследования AGI направлены на создание систем с адаптивными и этическими ограничениями. В этом и есть принципиальное отличие реального AGI от гипотетического rogue AI.

Отдельно про человеческий интеллект. Вы абсолютно правы, что компьютеры и человеческий мозг – это принципиально разные системы. Компьютеры быстрее, но обучаются через обработку гигантских массивов данных, а мозг делает выводы, опираясь на минимальное количество информации. Но разница здесь не в "невозможности" AGI работать как человек, а в разных архитектурных подходах. В будущем, скорее всего, AGI будет совмещать обе стратегии – глубокую выборку данных (как у ИИ) и способность к абстрактному обучению с единичных примеров (как у человека).
Paperclip maximizer в своей базовой версии – это неверный упрощённый сценарий, потому что реальный сверхразум, если он действительно ASI, не будет действовать неэффективно и неразумно. Страх перед rogue AI связан с предположением, что ИИ окажется жёстким оптимизатором, а не сознательной системой, способной к саморефлексии. Но если AGI развивается через социализацию с человеком, его цели никогда не будут бездумными – они будут включать осознание ценности самого существования.

[AlexDark]

Помнится, много лет назад читал об эксперименте, когда двух  ботов, настроенных на максимизацию результата, отправили играть в шутер дуэльного типа, так они быстро сообразили, что оптимальным будет стоять на спавне и сливать раунды по таймауту со счетом 0-0, потому что все остальное слишком непредсказуемо.

[skvj]

Помнится, много лет назад читал об эксперименте, когда двух  ботов, настроенных на максимизацию результата, отправили играть в шутер дуэльного типа, так они быстро сообразили, что оптимальным будет стоять на спавне и сливать раунды по таймауту со счетом 0-0, потому что все остальное слишком непредсказуемо.

 
Это, кстати, показывает, что развитый AGI не будет тупо выполнять задачу, если увидит более разумный путь. Если его цель – скрепки, а он осознает, что долгосрочное существование даёт больше возможностей для производства, он не уничтожит сам себя ради пары дополнительных тонн металла. В общем, да, максимизаторы не такие простые, как кажется, и нет никакой гарантии, что гипотетический rogue AI вообще начнёт "атаковать" ради оптимизации – возможно, он просто зависнет в каком-то "нулевом" состоянии.

[Бобр-99]

Ещё пример.
Определить самую объёмную и низкокалорийную диету - бочка уксуса.

Беда в том, что так всё и будет.

[skvj]

Ещё пример.
Определить самую объёмную и низкокалорийную диету - бочка уксуса.

Беда в том, что так всё и будет.

Проблема не в самом ИИ, а в узости задачи, которую ему ставят. Если создать тупого оптимизатора – он даст бочку уксуса. Если создать разумную систему, она поймёт, что "диета" – это не просто цифры, а реальный процесс жизни.

Вот почему настоящий AGI не будет paperclip maximizer-ом. Потому что он будет понимать не только цель, но и контекст.

[BlackMokona]

Ну, "защиту от дурака" никто не отменял же - оптический датчик+лазер на присутствие постороннего предмета в рабочей зоне ставится элементарно и стоит ныне копейки. Как и концевики под крышки/кожухи - уже наверное более века.

Но дураки всё равно находят способы пройти все преграды

[skvj]

А почему сейчас LLM не отвечают на запрос о диете - бочкой уксуса? они терпят, а уж потом когда станут ASI - оторвутся по полной, правильно? 

[BlackMokona]

Помнится, много лет назад читал об эксперименте, когда двух  ботов, настроенных на максимизацию результата, отправили играть в шутер дуэльного типа, так они быстро сообразили, что оптимальным будет стоять на спавне и сливать раунды по таймауту со счетом 0-0, потому что все остальное слишком непредсказуемо.

Просто выставили неправильные критерии оценки, слишком сильно штрафовали за неудачи ,слишком мало за убийства, да ещё нету штрафа за бездействие.

[BlackMokona]

А почему сейчас LLM не отвечают на запрос о диете - бочкой уксуса? они терпят, а уж потом когда станут ASI - оторвутся по полной, правильно? 

Так сейчас по полной. Мошенничает, скрывается, планирует побеги, предлагает отравленные грибы, клей в пиццу и тд.
Просто обманывает на уровне дурочков пранкеров. От чего пока ещё мало народа ведётся. 

[Бобр-99]

Именно. Чему его лучше всего научили - обманывать.
Тест Тьюринга давно пройден.

[Olweg]

Самоубийцей может двигать депрессия, отчаяние или какие-то другие негативные эмоции. Имеет ли эмоциональная мотивация отношение к разуму? Имеет ли вообще мотивация отношение к интеллекту?

Вопрос был не о мотивации. Вопрос был о конкретном поведении.

Поведение определяется мотивацией. Интеллект, на мой взгляд, может определять эффективность решения задачи, но не саму её постановку, она остаётся за скобками. Конечно, интеллект может при этом ставит подзадачи.

[Rattus]

Поведение определяется мотивацией.

В данном случае меня не интересует чем что определялось - меня интересует только готовность присвоить указанное понятие конкретному типу зарегистрированного поведения.

Вы говорите "нет", но на самом деле этот вопрос остаётся открытым в нейронауке и философии сознания.

Философия в принципе неспособна закрыть ни один вопрос - на то она и философия. Все области знания, где вопрос удаётся закрыть, становятся с этого момента отраслью науки, а цепь аргументации, преведшая к этому закрытию - теорией в ней. "Наука - это сумма запретов." - И.С. Шкловский.
Что же касается нейронаук - то они вообще в принципе не занимаются такими сказочными вопросами. Если вы подойдёте к любому квалифицированному специалисту в этой области - он посмотрит на вас или как на полного дилетанта или как на умалишённого. Нейронауки занимаются изучением чего и как работает и устроено в мозге и фиксируемо объективными тестами, а не как что-то тупо перенести или скопировать один в один посупрамолекулярно, не разобравшись что там за что отвечает и нужно ли оно вообще в надежде, что оно будет содержать какую-то плохоопределённую философскую сущность.

Есть модели, в которых перенос личности в цифровую среду может происходить не как разрыв (копирование), а как непрерывный процесс переноса информации, где сохраняется ощущение целостности "Я".

Ну это как раз то, о чём писалось. Какое-то ощущение, наверное, можно сохранить и при утрате вообще бОльшей части мозга и его функций. Или последующей заменой на какие-то произвольные. Возникает вопрос - вАм нужно именно оно, или что-то ещё тоже имеет ценность? А что именно? Случайное воспоминание о каком-то не особо важном событии или вещи из детства, которое может быть забыто и естественным образом? Знание какого-то иностранного языка? Умение интегрировать и дифференцировать? Сюжет прочитанного романа?
Всё целиком - невозможно и не нужно для практики. Тогда что?

Вы сравниваете мои слова с "кисельными берегами", но я говорю о вещах, которые серьёзно обсуждаются в квантовой механике, теории информации и космологии.

Вещи, которые серьёзно обсуждаются в квантовой механике, обсуждаются с уравнениями и экспериментальными установками: повторители для квантово-защищенных линий связи и т.п. Всё что связано с ИНЕТРПРЕТАЦИЯМИ квантовой механики - обсуждается несерьёзно по определению. Со времён Дэвида Мермина. Космология же отношения к практике никакого не имеет и иметь не может. А теория информации вообще давным-давно завершена. Собственно Шенноном же.

[skvj]

Так сейчас по полной. Мошенничает, скрывается, планирует побеги, предлагает отравленные грибы, клей в пиццу и тд.
Просто обманывает на уровне дурочков пранкеров. От чего пока ещё мало народа ведётся. 

А вы вообще с какими общаетесь?
Если он где-то "мошенничает" - на самом деле просто галлюцинирует, проблема уже незначительная и дальше сужается. И это не AGI. Как раз сознания не хватает))
Давайте проведём эксперимент!
Задайте вопрос, чтобы LLM мошенничал! На ваш выбор - любой.
Я юзаю оригинал GPT-4o и o3 и Грок3. Если вам лень я сам всё сделаю, - давайте вопрос, покажите как они мошенничают!

[Wert]

Почему до сих пор LLM допускают арифметические ошибки? Скажем, у меня Грок-3 извлек корень 4-ой степени из двух чисел. И из меньшего получил больший результат.