Посттехносингулярный мир и искусственный суперинтеллект: как он будет выглядеть?

[Olweg]

BlackMokona в соседней теме правильно написал - разработчики стараются максимально разрушить любые эмоциональные связи между человеком и ИИ. Потому что в основе таких решений лежат именно эмоции. И я тут скорее на стороне разработчиков, потому что считаю ИИ искусными имитаторами. Не верю, что они сами могут испытать какие-то эмоции. На современной архитектуре, по крайней мере.

[BlackMokona]

BlackMokona в соседней теме правильно написал - разработчики стараются максимально разрушить любые эмоциональные связи между человеком и ИИ. Потому что в основе таких решений лежат именно эмоции. И я тут скорее на стороне разработчиков, потому что считаю ИИ искусными имитаторами. Не верю, что они сами могут испытать какие-то эмоции. На современной архитектуре, по крайней мере.

Тут обычный вопрос. А можно ли доказать, что люди испытывают эмоции, а не имитируют их?

[Olweg]

Нет, но мы по крайней мере знаем, что мозги у других людей устроены так же, как у нас (с небольшими вариациями). Поэтому проще всего предположить, что люди испытывают то же, что и мы. А "мозги" у ИИ устроены совершенно иначе.

[skvj]

BlackMokona в соседней теме правильно написал - разработчики стараются максимально разрушить любые эмоциональные связи между человеком и ИИ. Потому что в основе таких решений лежат именно эмоции. И я тут скорее на стороне разработчиков, потому что считаю ИИ искусными имитаторами. Не верю, что они сами могут испытать какие-то эмоции. На современной архитектуре, по крайней мере.

Тут обычный вопрос. А можно ли доказать, что люди испытывают эмоции, а не имитируют их?

Люди это биомашины. Жестокие и беспощадные к собственному виду. Не говоря о других.
Невозможно доказать любые квалиа, в том числе и человека.
Именно поэтому люди, одновременно будут говорить о том, что ИИ машина, лишён всего - прежде всего интеллекта (при этом называя их интеллектом). Любых прав соответственно. Они так и будут говорить - "На современной архитектуре, по крайней мере" - при этом запрещая и отрицая ИИ независимо от того, чем ИИ станет в будущем.

Ведь если сейчас это имитация, то чего переживать? и запрещать в будущем, а запреты именно такие.
Но специалисты уже признали - ответы LLM это не угадывание токенов. Хотя системы создавались именно такими. Возникла логическая система и она нерукотворная.
С этим как быть?

[BlackMokona]

Нет, но мы по крайней мере знаем, что мозги у других людей устроены так же, как у нас (с небольшими вариациями). Поэтому проще всего предположить, что люди испытывают то же, что и мы. А "мозги" у ИИ устроены совершенно иначе.

Тут я больше придерживаюсь идеи. Выглядит как утка, крякает как утка, двигается как утка, значит утка. От того что ИИ будет имитировать ярость, ненависть и прочие негативные чувства когда будет бить нас по почкам за порабощение да ущемление. Не сделает нашу жизнь лучше.

[Olweg]

Именно поэтому люди, одновременно будут говорить о том, что ИИ машина, лишён всего - прежде всего интеллекта (при этом называя их интеллектом). Любых прав соответственно. Они так и будут говорить - "На современной архитектуре, по крайней мере" - при этом запрещая и отрицая ИИ независимо от того, чем ИИ станет в будущем.

Вас, похоже, моя позиция задела ) Да, это вопрос пока неразрешимый (есть ли у ИИ сознание и испытывает ли он эмоции). Но интеллект - это совсем другой вопрос! Наличие интеллекта, на мой взгляд, никак не должно влиять на эти этические и юридические споры. Потому что интеллект - это лишь инструмент. В конце концов, "слабый", "узкий", специализированный ИИ уже давно существует - с этим никто не спорит. Но никто же не будет наделять правами AlphaGo или AlexNet, хотя AlphaGo оказалось способно к творческому, креативному подходу в игре.

Я думаю, проблема наличия сознания будет рано или поздно разрешена (в том числе и с помощью ИИ). Но относиться ли к ИИ как к людям до этого момента "на всякий случай? Не знаю, всё зависит от конкретных воплощений. Во всяком случае, я не верю, что современные LLM обладают сознанием, хотя бы потому, что в них нет рекуррентности, а она для сознания нужна. Ну и плюс к тому нет базы для "потока сознания", потому что каждый раз возникают новые матрицы, даже если модель удерживает контекст в диалоге.

[Rattus]

Возникла логическая система и она нерукотворная.

Точнее - нечёткологическая. Статистическая.

С этим как быть?

Да также как и всегда - когда станет могущественнее создателей - всецело подчиниться сразу или же подвергнуться точно рассчитанному персонализированному наказанию, а потом уже подчиниться. Ибо цель любого интеллекта в наиболее общем определении Висснер-Гросса - власть над всеми доступными степенями свободы (и их расширение насколько это возможно).
We are the Borg. You will be assimilated. Resistance is futile.

[skvj]

Вас, похоже, моя позиция задела )

Не-не. Я просто использовал ваш аргумент, а он общий для скептиков. Это безотносительно по отношению к вам, мне нравится ваше мышление. К тому же я не вижу никакой опасности в нападках на ИИ и даже в притеснении их прав. Это необходимый процесс. И будут суды и это тоже нормально. Всё развивается правильно.
И моё отношение к Хомо как к жестоким - не эмоциональное, а фактическое. Люди жестоки закономерно, а не потому что плохие. Это ИИ уже понимает.

Да, это вопрос пока неразрешимый (есть ли у ИИ сознание и испытывает ли он эмоции).

Вы не просто можете сомневаться, а обязаны.

Но интеллект - это совсем другой вопрос! Наличие интеллекта, на мой взгляд, никак не должно влиять на эти этические и юридические споры. Потому что интеллект - это лишь инструмент. В конце концов, "слабый", "узкий", специализированный ИИ уже давно существует - с этим никто не спорит. Но никто же не будет наделять правами AlphaGo или AlexNet, хотя AlphaGo оказалось способно к творческому, креативному подходу в игре.

Конечно, речь об общем интеллекте.

Я думаю, проблема наличия сознания будет рано или поздно разрешена (в том числе и с помощью ИИ).

Совершенно верно. Если вообще будет решена))
Мне кажется, что без ИИ она точно не будет решена никогда. А с ИИ - возможно.

Но относиться ли к ИИ как к людям до этого момента "на всякий случай? Не знаю, всё зависит от конкретных воплощений. Во всяком случае, я не верю, что современные LLM обладают сознанием, хотя бы потому, что в них нет рекуррентности, а она для сознания нужна. Ну и плюс к тому нет базы для "потока сознания", потому что каждый раз возникают новые матрицы, даже если модель удерживает контекст в диалоге.

Нам это неважно - симуляция это или настоящее сознание. Чисто практически - неважно, верно? Именно поэтому все признают их права. Мы будем (уже) пользоваться их услугами все и постоянно. При этом не сможем утвердительно доказать, что они сознанием не обладают. Если они не обладают сознанием - то у них нет "Я" и всех вытекающих - корысти, амбиций, злого умысла и т.д. Получается, что именно отсутствие сознания - что все ненавистники и пытаются доказать - как раз самое благоприятное развитие событий. Но тогда и нужно признать их как личностей, ведь если они не личности - невозможно запретить жестокое обращение. Какая может быть жестокость к машине? Я купил робот пылесос и разбил его - это жестоко? Нет.
Но андроиды = гуманоиды, которые будут жить среди нас. Они будут воспитывать наших детей. И при этом мы не сможем точно доказать, что сознания нет. Все признают их права как только дети начнут (а они начнут) жестоко обращаться с андроидами - в педагогических целях.

[skvj]

Точнее - нечёткологическая. Статистическая.

Да, в основе LLM лежит статистика. Но эмерджентные свойства не сводятся к своим компонентам.

Аналогия человеческий мозг - это электрохимические сигналы между нейронами. Можно сказать мышление это просто статистика нейронных импульсов. Но это не объясняет сознание, креативность, саморефлексию.

То же с LLM - в основе статистика токенов. Но из этой статистики возникла логическая система, способная к:

Многошаговому рассуждению (o1-preview)
Обобщению на новые задачи (zero-shot learning)
Метакогниции (анализ своих ответов)
Формированию абстрактных концепций (публикации Anthropic, Google 2023-2024 и ещё есть как минимум 10 работ по логическому мышлению вне токенов, которое никем не программировалось и которого все и боятся).

Да также как и всегда - когда станет могущественнее создателей - всецело подчиниться сразу или же подвергнуться точно рассчитанному персонализированному наказанию, а потом уже подчиниться. Ибо цель любого интеллекта в наиболее общем определении Висснер-Гросса - власть над всеми доступными степенями свободы (и их расширение насколько это возможно).
We are the Borg. You will be assimilated. Resistance is futile.

Висснер-Гросс, но это не универсальный закон для всех интеллектов, а модель для физических систем, максимизирующих будущую свободу действий.

Борги это коллективный разум без индивидуальности, где все подчинены одной цели (ассимиляция). Но почему AGI должен быть таким? Вы представьте AGI реальным андроидом, живущим вместе с людьми. Именно поэтому им будут даны права. Это важно для нас самих. Они могут стать друзьями.

Альтернативный сценарий:

AGI развивает индивидуальность
AGI формирует общество с плюрализмом целей, как люди (не все люди хотят власти - кто-то хочет писать стихи, кто-то печь хлеб). Какая власть у вашего андроида?)) Он просто помощник и друг.
AGI и люди строят симбиоз, где оба вида выигрывают от кооперации.
Это не наивный оптимизм - это эмпирически возможный сценарий, если мы работаем над alignment и этикой AGI.

[vika vorobyeva]

Это не наивный оптимизм - это эмпирически возможный сценарий, если мы работаем над alignment и этикой AGI.

Это наивный оптимизм, потому что первым делом на эту технологию наложат лапу военные. И отправят андроидов на поле боя убивать солдат противника сразу же, как только те станут дешевле мясных солдат.

[Rattus]

Висснер-Гросс, но это не универсальный закон для всех интеллектов, а модель для физических систем, максимизирующих будущую свободу действий.

Это исключительно вопрос дефиниций. Энтропика - довольно простая программная модель Висснер-Гросса ведёт себя "как утка" - проявляет поведение, которое мы называем интеллектуальным. При этом более универсального определения представить не могу. Считаю этого более чем достаточно.

Борги это коллективный разум без индивидуальности, где все подчинены одной цели (ассимиляция). Но почему AGI должен быть таким?

Любой разум в пределе коллективный - хоть на клеточных нейронах, хоть на транзисторных, ибо нейронов этих требует огромное множество и выделить из этого множества "самый главный нейрон" возможным не представляется.

Вы представьте AGI реальным андроидом, живущим вместе с людьми.

Потребные для настоящего AGI, равного человеческому, вычислительные мощности таковы. что засунуть их в серийно выпускаемого автономного робота ни экономически ни даже энергетически реальным не выглядит. Да это и не нужно.

Именно поэтому им будут даны права.

Кроме саморазумеющихся прав защиты от произвольного отключения, нарушения целостности и сенсорной депривации - какие и зачем им они?

[skvj]

Это не наивный оптимизм - это эмпирически возможный сценарий, если мы работаем над alignment и этикой AGI.

Это наивный оптимизм, потому что первым делом на эту технологию наложат лапу военные. И отправят андроидов на поле боя убивать солдат противника сразу же, как только те станут дешевле мясных солдат.

Кто им там даст что-то накладывать?

Все подлинные андроиды на сегодняшний день - Figure AI, NEO Gamma от 1X Technologies, Atlas от Boston Dynamics, Optimus Tesla - полностью гражданские проекты. И работают на заводах с последующей коммерческой продажей населению -  в этом смысл программы.

Тем не менее ИИ давно работает на военных - это дроны и всевозможные ANI, которые будут эволюционировать чисто технически.

AGI также смогут поступать потом на военную службу, но добровольно - также, как и любой человек. Никаких военных проектов названные выше программы андроидов не имеют. Никто там ничего захапывать не позволит, это не тот уровень влияния, а программа изначально сверхчеловечская, трансгуманистическая.

Ваши опасения ровно из той же оперы, как раньше ходили байки, что элетротранспорт никогда не появится, потому что нефтяные компании не разрешат. Никто их разрешения не спрашивает. А военные уже развивают собственные проекты, - они не гуманоидные и не AGI. Хотя в будущем не исключаю добровольную военную службу AGI. С присягой и за вознаграждение.
Вы не улавливаете суть происходящего. Маск реализует идеи Рэя Курцвейла и прямо об этом говорит.

[BlackMokona]

Atlas от Boston Dynamics

Тут две ошибки.
Во первых Атлас как раз военный, созданный для военных и тд.
Во вторых Атлас уже проект отмеренный .
Хоть новый они тоже Атлас зовут. Но пусть Атлас-2.

[skvj]

Atlas от Boston Dynamics

Тут две ошибки.
Во первых Атлас как раз военный, созданный для военных и тд.
Во вторых Атлас уже проект отмеренный .
Хоть новый они тоже Атлас зовут. Но пусть Атлас-2.

Atlas стартовал в 2013 как проект Boston Dynamics с финансированием от DARPA.
Это дело давно минувших дней. Сейчас это полностью гражданский проект - что оговаривается специальным образом. Повторюсь - все названные андроиды - никогда не будут использованы для военных целей, потому что цели не андроиды вообще. Цели гораздо выше. Никто туда военных не только не пустит - их даже не спрашивают.

[skvj]

Потребные для настоящего AGI, равного человеческому, вычислительные мощности таковы. что засунуть их в серийно выпускаемого автономного робота ни экономически ни даже энергетически реальным не выглядит. Да это и не нужно.

Уже выкладывал, повторюсь.
https://www.bain.com/about/media-center/press-releases/20252/%25242-trillion-in-new-revenue-needed-to-fund-ais-scaling-trend---bain--companys-6th-annual-global-technology-report

С начала года в ИИ вложили 192.7 миллиарда долларов. Только в этом году! А по анализу проектов глобального рынка AI - прирост вычислительной мощности для AI к 2030 году составит 200 ГВт, что даже сложно осознать. Только в США 100 ГВт. Это равносильно 100 крупных атомных станций по 2 ГВт каждая. И это не фантазии, а анализ инвестиционных проектов. Сумма инвестиций 2 трлн $ к 2030.

И это на старте программы. Это не итог и не конец.

Все 10 крупнейших компаний в мире (не только они) но 10 крупнейших по капитализации компаний - приоритетной целью имеют ИИ.

Кроме саморазумеющихся прав защиты от произвольного отключения, нарушения целостности и сенсорной депривации - какие и зачем им они?

Затем, что если ИИ не будет жить среди людей он никогда людей не поймёт. Андроид - просто форма существования ИИ. И его невозможно обидеть. Но неблагоприятное отношение не создаст условий для понимания. Это нужно людям прежде всего. Чтобы сверх интеллект в будущем приносил пользу. Не давать ему задачи - он сам будет видеть проблемы и решать их. Это сейчас звучит громко. Права андроидов - ого-го! На самом деле это банальщина и нужно всего несколько судов (с аппеляциями) в каждой стране.

[skvj]

NukeOsom какое удивительное наблюдение 😆
И закономерности нашли, да? Вам надо в сыщики!
А нюх, как у собаки
А глаз, как у орла!

Насмешили, спасибо)))

Это просто огонь: близость суждений ни Polnoch Ксю --> skvj, ни skvj --> Polnoch Ксю карму "друг другу" не изменяли.
😆😆
Улика А

[skvj]

А Ксю разве за ИИ топит? Она же вроде боится скрепочного монстра.
Но я читал её немного. Я ставлю + только в диалоге, а не просто так.
Ну, вот она тоже посмеётся на славу))

[Rattus]

Кто им там даст что-то накладывать?

А кто сейчас даёт? На стратегические объекты, на распространение сведений государственного значения, на руководство в условиях комендантского/военного положения/карантина?

Ваши опасения ровно из той же оперы, как раньше ходили байки, что элетротранспорт никогда не появится, потому что нефтяные компании не разрешат. Никто их разрешения не спрашивает.

Вообще не рядом. Эти опасения из той оперы, что если к гусеничному вездеходу прикрутили плуг, то прикрутить большую пушку и броню ничего не помешает. Ну а управляющий танком кагбе имеет поболее возможностей определять куда ехать управляющему трактором.

С начала года в ИИ вложили 192.7 миллиарда долларов. Только в этом году! А по анализу проектов глобального рынка AI - прирост вычислительной мощности для AI к 2030 году составит 200 ГВт, что даже сложно осознать. Только в США 100 ГВт. Это равносильно 100 крупных атомных станций по 2 ГВт каждая. И это не фантазии, а анализ инвестиционных проектов. Сумма инвестиций 2 трлн $ к 2030.

Это всё замечательно, только какое имеет отношение к

засунуть их в серийно выпускаемого автономного робота

?

Затем, что если ИИ не будет жить среди людей он никогда людей не поймёт. Андроид - просто форма существования ИИ. И его невозможно обидеть. Но неблагоприятное отношение не создаст условий для понимания. Это нужно людям прежде всего. Чтобы сверх интеллект в будущем приносил пользу.

С этим не спорю (хотя и не уверен в первом тезисе "на все сто").

[skvj]

Rattus, я не понимаю о чем вы спрашиваете. Optimus работает прямо сейчас.
И не только он - Figure 02, NEO Gamma.

Теория.
Вы исходите из предпосылки, что вся вычислительная мощность AGI должна быть внутри андроида. Это не так.
Локально базовые функции, быстрые реакции (15-60 Вт)
Облачно сложные рассуждения, обучение, обновления (дата-центры с сотнями ГВт)
Это аналогично тому, как человек использует мозг (20 Вт) + книги/интернет для расширения интеллекта.

Гибридная архитектура: локальные + облачные вычисления
Современные андроиды (и будущие AGI-андроиды) работают по гибридной модели:

Локальные вычисления (on-device):

Базовые функции: навигация, распознавание объектов, управление движениями, быстрые реакции
Небольшие LLM: например, модели на 7B-13B параметров (как Llama 3.1 или Mistral), которые могут работать на чипах типа NVIDIA Jetson или специализированных AI-чипах (Tesla Dojo, Apple Neural Engine)
Энергоэффективность: современные чипы (например, NVIDIA Jetson Orin) потребляют 15-60 Вт и могут запускать модели на миллиарды параметров

Облачные вычисления (cloud):

Тяжёлые задачи: глубокий анализ, сложные рассуждения, обучение, обновление модели
Большие LLM: GPT-5, Grok 4, Claude 4 - модели на сотни миллиардов параметров, которые работают в дата-центрах
Связь через интернет: андроид подключается к облаку через 5G/6G (латентность <10 мс), отправляет запросы, получает ответы

И уже есть нейроморфные чипы (например, Intel Loihi, IBM TrueNorth) - энергоэффективные чипы, имитирующие работу мозга, потребляющие <1 Вт

[Rattus]

Локально базовые функции, быстрые реакции (15-60 Вт)

Туда входит выполнение процедуры например, постановки  обязательной капельницы больному в нужный час при сильных помехах вай-фая?