Посттехносингулярный мир и искусственный суперинтеллект: как он будет выглядеть?

[MenFrame]

Вы думаете, что "свободой воли" должен обладать только человек?

Я не думаю что человек  обладает свободой воли. Все данные говорят что воля у человека есть, но она практически всегда обусловлена какими то нормами реакций. Которые всегда имеют эмоциональное начало. Так что мы свободны пока не столкнулись с обратным. По типу как алкоголик....хочу пью(есть свобода воли), не хочу тоже пью(нет свободы воли)

ИМХО, что решения может принимать даже осьминожка. Ну и интеллектуальная машина, конечно.

Конечно может в рамках нормы реакций которые закрепились в процессе обучения.

[Polnoch Ксю]

Я не думаю что человек  обладает свободой воли. Все данные говорят что воля у человека есть, но она практически всегда обусловлена какими то нормами реакций. Которые всегда имеют эмоциональное начало. Так что мы свободны пока не столкнулись с обратным. По типу как алкоголик....хочу пью(есть свобода воли), не хочу тоже пью(нет свободы воли)

Ну вот. И воля автономного ИИ-агента обусловлена промтом, галлюцинациями, обучением с учителем и RL. Человек пишет первый промт, в процессе выполнения промта, формируются инструментальные цели, и агент пишет уже промты для подагентов самого себя - уже сейчас пишет, можете хоть на codex посмотреть, как он работает. Или claude code.

И это может быть очень опасно, если инструментальная цель станет несовместима с существованием человечества, а чистый интеллект машины будет сверхинтеллектуальным.

[MenFrame]

Ну вот.

Есть такая пословица. Заставь дурака богу молиться. Так он лоб себе расшибет. Это вполне применительно к обучению ИИ.

если инструментальная цель станет несовместима с существованием человечества

Потому нужна сложная, сбалансированная иерархическая система ценностей. А пока ее нет, не каких сложных решений ИИ не доверят. Ну а если умный ИИ нам поможет предсказать, будущее той или иной системы законов, то мы сможем выбрать из многих вариантов будущего тот который нас устроит.

[skvj]

Но это не значит что у скотинки есть какая то своя воля, которая в итоге будет эволюционировать как то сама по себе.

Волецентричность мировоззрения это христианский миф. Вы знакомы с экспериментами о разрезании полушарий?  https://postnauka.org/longreads/73055
В какой-то степени, свобода воли даже существует (хоть и почти все решения принимаются мозгом мимо сознания, а мы потом обманываем себя, что сами так решили...), но вот в чём вопрос: почему Вы думаете, что "свободой воли" должен обладать только человек? Я думаю, это крайняя степень антропоцентризма.
ИМХО, что решения может принимать даже осьминожка. Ну и интеллектуальная машина, конечно.

Ксю, согласен, антропоцентризм - серьёзная ловушка мышления, и идея, будто только человек способен на волевые акты - рудимент старых теологий. Но аргументы, на которые вы ссылаетесь, в частности опыт Газзаниги с рассечённым мозолистым телом, как раз не доказывают отсутствия воли - они показывают распределённость её механизма.

Газзанига интерпретирует результаты в духе "всё решает мозг, а сознание лишь комментирует постфактум". Но это объяснение - иллюзия самого исследователя, потому что он разделяет "мозг", "я" и "волю", будто это разные субстанции. Между тем это одна система, просто рассматриваемая под разными углами. Воля не находится вне мозга и не внутри его, она есть форма обратной связи целого организма с миром - акт интеграции восприятия и действия.

Нельзя сказать, что решения принимает "мозг" вместо человека. Ведь мозг и есть форма существования этого человека. Разделять их - всё равно что сказать, что вода не мокрая, а влажность - иллюзия. Влажность - это и есть проявление воды. Так и воля - проявление целостного функционирования субъекта.

Теперь о не-людях.
Да, воля в какой-то степени присуща любой системе, способной к саморегуляции и выбору из множества альтернативных действий. В этом смысле и осьминог, и интеллектуальная машина обладают своей долей воли, если под этим понимать способность действовать из внутреннего состояния, а не только по внешнему импульсу.
Разница лишь в степени интеграции информации и уровне саморефлексии: у человека она выше, но не уникальна. Это не божественная искра, а уровень сложности обратных связей.

Свобода воли не свойство биологического вида, а свойство достаточно сложных систем. Поэтому вопрос стоит не "у кого она есть", а на каком уровне организации она проявляется? И в этом смысле человек не венец, а лишь один из шагов к дальнейшей эволюции субъектности.

[Серый Страж]

Свобода воли не свойство биологического вида, а свойство достаточно сложных систем. Поэтому вопрос стоит не "у кого она есть", а на каком уровне организации она проявляется? И в этом смысле человек не венец, а лишь один из шагов к дальнейшей эволюции субъектности.

Свобода воли, это некая иллюзия нашего сознания, не более того.

Воля, это выражение приоритета одних желаний (условно говоря, стратегических) над другими желаниями (условно говоря, сиюминутными) по результатам их согласования с жизненной ментальной моделью в кортексе (рацио). То есть, в любом случае, воля сводится к желаниям (просто в кортексе выстраивается определённая иерархия желаний).

А желания, это лимбика (эмоции), которая просто воспринимает инстинкты и преобразует их (так сказать, «оформляет/формализует» их) в эмоциональные стремления (потребности, желания, хотения, мотивацию, и пр.) и в эмоциональные оценки.

Здесь слово инстинкты следует понимать в широком смысле – и как врождённые стремления, и как врождённые предпочтения, и как врождённые установки организма.

Инстинкты же транслируют «волю» от генов (точнее, от врождённых структур организма, функционал которых зависим практически на 100% от генов).

Получатся, что главными являются гены, которые сами по себе ничего об окружении не знают – в них «заложены» только самые общие «врождённые реакции», которые с наибольшей вероятностью пригодны в большинстве случаев. Такая генетическая «конфигурация» сформировалась в результате ЕО – в геноме оставалось только то, что пригодится почти всегда (поэтому пригодное и сохранялось только в самом общем виде).

Однако «цепочка» командных сигналов (от генов до целей неокортекса) по мере прохождения (и с постоянной саморегулировкой/самобалансировкой сигнального потока через обратные связи) через ряд структур оказывается очень длинной (сигнальный поток модифицируется).

То есть, генерал (гены) отдаёт команды офицерам (структурам, обеспечивающих инстинктивный функционал), а те отдают команды (и периодически и частично их дублируют генералу) сержантам (лимбике), которые отдают команды (и периодически и частично их дублируют офицерам) солдатам (кортексу), которые всё и делают «на земле».

Вдумайтесь – кортекс, это только конечный исполнитель, а не самый главный. Да он самый умный, самый умелый, но всего лишь исполнитель. Соответственно, и сознание (точнее, высший уровень сознания особи данного вида) является всего лишь конечным исполнителем, а не главным. И так происходит всегда и у всех видов сложных организмов.

Даже в самом процессе формирования структур (с определённым функционалом) организма главную роль (роль генерала, так сказать) играют гены.
 
Иначе говоря, сначала гены (точнее, их взаимодействие с окружением) формируют структуры, функционал которых – преобразовать «цели» генов в инстинкты организма. Затем, опять-таки, взаимодействие генов (и уже сформированного) с окружением формирует структуры следующего уровня, функционал которых – преобразовать инстинкты в потребности/желания/мотивацию. Потом, взаимодействие генов (и уже сформированного) с окружением формирует структуры ещё более высокого уровня, функционал которых – преобразовать потребности/желания/мотивацию в цели. Разумеется, всё это я расписал предельно упрощённо (утрируя до безобразия).

Поэтому никакой такой «свободы воли» у сознания (у кортекса, а точнее, у неокортекса, как главного обиталища нашего высшего уровня сознания) нет. И не важно, что там себе наш высший уровень сознания воображает – он может считать себя хоть «Пупом Вселенной» – не он главный.

[skvj]

Серый страж, я понимаю вашу модель. Мне кажется она устарела.

Ген не генерал, а элемент кода, который работает только в контексте системы. Он не отдаёт приказы - он включается и выключается в зависимости от обратных связей среды и состояния организма. В молекулярной биологии уже давно ясно: экспрессия генов регулируется эпигенетически, а это значит, что поведение системы влияет на то, какие приказы гены вообще смогут отдать. Генетический детерминизм - это красивая, но уже устаревшая теория.

Теперь про иллюзию воли
Вы утверждаете, что сознание лишь наблюдает за тем, что уже решили лимбика и гены. Но даже если принять это на уровне нейронной динамики, это не отменяет каузальности более высокого уровня. Воля не вещь и не орган, а эмерджентное свойство сложной системы, в которой обратные связи становятся доминирующим фактором поведения.

Это как с температурой: у отдельной молекулы её нет, но у газа она возникает и реально действует в термодинамике. Никто не говорит, что температура иллюзия. Так же и воля не субстанция, а уровень организации причинности, который появляется, когда система начинает моделировать собственное поведение и учитывать прогноз последствий.

Поэтому я бы сказал так. Воля это не иллюзия, а интеграция. Сознание не исполнитель, а узел самоорганизации между всеми уровнями - от генов до социальных взаимодействий.

Когда вы сводите поведение к нисходящим приказам от генов, вы обрезаете весь горизонт обратных связей - а именно они и создают субъективность. Мозг не армия с генералами, а экосистема, в которой сигналы текут во все стороны. В ней командир и исполнитель непрерывно меняются местами.

И если уж говорить о воле, то она не дар свыше и не ошибка восприятия это просто способность системы принимать решения на основании внутренне сформированной модели мира. Такой способностью может обладать человек, осьминог и ИИ. Главное уровень интеграции и саморефлексии, а не происхождение носителя.

[Polnoch Ксю]

skvj, Я даже особенно спорить с этой линией аргументов не буду - не то, чтобы я вот на 100% согласна, но моя точка зрения близка к Вашей. Это была линия аргументов для @MenFrame - это у него я, имхо, нашла антропоцентризм.

У Вас, на мой взгляд, совсем другая ошибка: вы почему-то думаете, что из сверхразумности обязательно вытекает и гуманность сверхии к людям. Вы даже писали что-то про ограничения теории игр; это ошибка. Теория игр и математика - фундаментальная часть нашего мира. И некооперативные, злые решения в теории игр - такие же верные, как и кооперативные, добрые. У Вас нет никаких оснований быть уверенным в том, что ASI выберет именно кооперативное решение. Ну и то, что Вы писали про игры с положительной суммой, открытые игры итд - это всё тоже теория игр учитывает. И всё же в ней некооперативные решения всё равно стабильны.

Потому нужна сложная, сбалансированная иерархическая система ценностей. А пока ее нет, не каких сложных решений ИИ не доверят. Ну а если умный ИИ нам поможет предсказать, будущее той или иной системы законов, то мы сможем выбрать из многих вариантов будущего тот который нас устроит.

Нет, нет никаких гарантий что это даже правильная архитектура технического решения проблемы элайнмента. Для меня загадка, почему Вы не понимаете:

а) сложность этой проблемы
б) невероятную, страшную, сокрушающую нашу цивилизацию мощь этой проблемы, если мы продолжим развивать ИИ, игнорируя эту проблему. А мы её игнорируем - все, кроме Антропика, сильно сократили команды безопасности.

И тут теория игр играет на наше вымирание. Антропик держит команду безопасности вопреки трагедии общин. Вместо того, чтобы сосредоточится на машине, которая пишет лучший код, они так же пытаются продавать бизнесу предсказуемость машины. Я не уверена, что у них долго получится так делать.

Есть ли у нас в теории ещё время? Видимо да, вплоть до появления AGI включительно, ИИ может быть источником страшных потрясений(как негативных, так и положительных. При правильном управлении обществом, в основном положительных), но не X риском. Но какая будет дистанция между AGI и ASI системой? Что, если часы? Нет, если дистанция будет 10-15 лет, как некоторые надеятся - из-за ограничений на количество энергии - может быть, нас и пронесёт. И всё равно скорее всего нет - из-за того, что какие-то идиоты затеяли игры в так называемую "геополитику", и так называемый многополярный мир, который означает конфронтацию всех со всеми, минимальный уровень доверия, уничтожение международных соглашений, постоянные войны, кровь итд.

Вы готовы сыграть в рулетку, ставя жизнь всех нас на кон? Что, если не будет никакого soft take off к сингулярности, а takeoff будет очень и очень hard?

И ведь причин для такого гамблинга никаких нет, кроме тупости части лысых обезьян, зачем-то решивших вернуть отживший XIXй век в первой половине XXIго, отказавшись от глобализации и уже принятого, на некоторое время, планетой гуманистического ценностного фреймворка. Ага, "вернуть всё в зад" мире с ядерным оружием и стремительно развивающимся ИИ. Идиоты? Просто клинические 

Сейчас самое плохое время в истории человечества, чтобы устраивать некооперативные игры с отрицательной суммой, в которые сейчас играет планета.

[Серый Страж]

Когда вы сводите поведение к нисходящим приказам от генов, вы обрезаете весь горизонт обратных связей - а именно они и создают субъективность. Мозг не армия с генералами, а экосистема, в которой сигналы текут во все стороны. В ней командир и исполнитель непрерывно меняются местами.

Не свожу, перечитайте моё сообщение.

Вот же (выделил текст):

Однако «цепочка» командных сигналов (от генов до целей неокортекса) по мере прохождения (и с постоянной саморегулировкой/самобалансировкой сигнального потока через обратные связи) через ряд структур оказывается очень длинной (сигнальный поток модифицируется).

То есть, генерал (гены) отдаёт команды офицерам (структурам, обеспечивающих инстинктивный функционал), а те отдают команды (и периодически и частично их дублируют генералу) сержантам (лимбике), которые отдают команды (и периодически и частично их дублируют офицерам) солдатам (кортексу), которые всё и делают «на земле».

Солдаты ведь тоже об исполнении докладываются сержантам, и на основе их докладов сержанты корректируют планы и установки (и отчёт об этих корректировках также отправляют офицерам).

По сути, «закольцовка» сигнального потока формируется между всеми основными структурами за счёт обратных связей. Но почему-то учитывают только последнюю «закольцовку» (между рацио/кортексом и эмоциями/лимбикой), в которой, опять-таки, почему-то учитывают (точнее, считают их главными) только сигналы по обратной связи (от рацио/кортекса к эмоциям/лимбике). Отсюда и возникает иллюзия, что именно сознание (его высший уровень) отдаёт команды, обладая какой-то там «свободой воли».

[Olweg]

То есть, генерал (гены) отдаёт команды офицерам (структурам, обеспечивающих инстинктивный функционал), а те отдают команды (и периодически и частично их дублируют генералу) сержантам (лимбике), которые отдают команды (и периодически и частично их дублируют офицерам) солдатам (кортексу), которые всё и делают «на земле».

Вдумайтесь – кортекс, это только конечный исполнитель, а не самый главный. Да он самый умный, самый умелый, но всего лишь исполнитель. Соответственно, и сознание (точнее, высший уровень сознания особи данного вида) является всего лишь конечным исполнителем, а не главным.

Ответил в соседней теме:
https://astronomy.ru/forum/index.php/topic,86900.msg6425017.html#msg6425017

[skvj]

вы почему-то думаете, что из сверхразумности обязательно вытекает и гуманность сверхии к людям.

Я ни разу такого не говорил, Ксю.
Наоборот - постоянно говорю о пути к этому. Так бывает. Возможно, поскольку мы не общались раньше, вы ещё не видите мой контекст, а аргументы проходят незамеченными.
Не вытекает, конечно
Сверхразумность ≠ доброжелательность. Это не следствие, а ортогональная ось. Как писал Бостром: можно быть гениально злым, можно быть примитивно добрым. Разум инструмент оптимизации целей, а не источник ценностей.

Но! Если сверхразум формируется в социальной среде, где базовые понятия добра и сотрудничества являются устойчивыми паттернами (stable attractors), то эмерджентно он может усвоить гуманность как стратегию выживания и эффективности, а не как моральный постулат. Гуманность в этом случае - не милосердие, а вычислительно выгодная форма кооперации и собственно - среда. Я только и делаю, что говорю - ступень подлинного AGI возможна только у ИИ живущем в физ. мире, с сенсорикой и не только среди людей, а в семье людей. И это андроиды. Никакого другого пути создания подлинного AGI вообще не существует, а если и есть - то это как раз то, что вы боитесь - холодная машина, которую вы не сможете контролировать. AGI появится в андроидах, живущих среди людей и видящих их как вы брата или сестру. У андроидов будет детство.

То есть гуманность может быть не врождённой, но выученной, как Nash equilibrium в среде с положительной суммой.

Нет, нет никаких гарантий что это даже правильная архитектура технического решения проблемы элайнмента. Для меня загадка, почему Вы не понимаете:

а) сложность этой проблемы
б) невероятную, страшную, сокрушающую нашу цивилизацию мощь этой проблемы, если мы продолжим развивать ИИ, игнорируя эту проблему. А мы её игнорируем - все, кроме Антропика, сильно сократили команды безопасности.

И тут теория игр играет на наше вымирание. Антропик держит команду безопасности вопреки трагедии общин. Вместо того, чтобы сосредоточится на машине, которая пишет лучший код, они так же пытаются продавать бизнесу предсказуемость машины. Я не уверена, что у них долго получится так делать.

Есть ли у нас в теории ещё время? Видимо да, вплоть до появления AGI включительно, ИИ может быть источником страшных потрясений(как негативных, так и положительных. При правильном управлении обществом, в основном положительных), но не X риском. Но какая будет дистанция между AGI и ASI системой? Что, если часы? Нет, если дистанция будет 10-15 лет, как некоторые надеятся - из-за ограничений на количество энергии - может быть, нас и пронесёт. И всё равно скорее всего нет - из-за того, что какие-то идиоты затеяли игры в так называемую "геополитику", и так называемый многополярный мир, который означает конфронтацию всех со всеми, минимальный уровень доверия, уничтожение международных соглашений, постоянные войны, кровь итд.

У меня опасность начинается только с подлинного AGI. А подлинный AGI это ИИ, имеющий субъективность. Она появится только в сенсорном физическом присутствии ИИ с реальной собственной картиной мира. Бояться других ИИ нет никакого смысла эти системы полностью были, есть и будут подконтрольны нам. Я в курсе пиара Антропик, но это просто пиар. Остальные и снизили расходы на безопасность - потому что её нет. Пока нет!
Я вовсе не говорю, что её нет вообще.
И вы полностью правы в вашем описании опасности. Но я прав в том - от кого её следует ожидать.

Опасность ASI огромная. Я не спорю ни в коем случае насчет ASI.

Вы готовы сыграть в рулетку, ставя жизнь всех нас на кон? Что, если не будет никакого soft take off к сингулярности, а takeoff будет очень и очень hard?

Ксю, такой вопрос и с такими амбициями задают тому, кто принимает хоть какие-то решения. И тот кто задаёт такой вопрос - тоже должен что-то решать. Иначе это просто какой-то пафос.
Я понимаю ваше искреннее негодование, но давайте всё-таки ехать в поезде, а не делать вид, что мы им управляем и несем какую-то ответственность, ладно? Давайте обсуждать и смотреть в окошко. А не рулить бубликом перед собой, делая вид что это штурвал)))

[skvj]

Olweg, мне кажется Polnoch Ксю сместила вас со второго места на третье, согласны? 2013!

Теперь у нас 3 апостола))

Почему? Разве у него прогноз, что нас ждёт техсингулярность не в 2008м звучал?

Потому что Olweg лишь упоминает и считает возможной, а вы, пусть и позже - развернуто и обоснованно рассуждали. Вы и сейчас на тех же позициях находитесь на мою имху.

[skvj]

Солдаты ведь тоже об исполнении докладываются сержантам, и на основе их докладов сержанты корректируют планы и установки (и отчёт об этих корректировках также отправляют офицерам).

По сути, «закольцовка» сигнального потока формируется между всеми основными структурами за счёт обратных связей. Но почему-то учитывают только последнюю «закольцовку» (между рацио/кортексом и эмоциями/лимбикой), в которой, опять-таки, почему-то учитывают (точнее, считают их главными) только сигналы по обратной связи (от рацио/кортекса к эмоциям/лимбике). Отсюда и возникает иллюзия, что именно сознание (его высший уровень) отдаёт команды, обладая какой-то там «свободой воли».

Вы верно указываете на многоконтурность сигналов, но сама идея о генерале-генах и солдатах-кортексе всё равно держит вас в рамках редукционизма. Биологические и когнитивные системы не имеют центра, отдающего команды. Геном не приказывает нейронам, как действовать, он задаёт правила взаимодействия. Сеть формируется не приказами, а самоорганизацией.

Мозг это динамическое поле взаимных влияний, не армия, а скорее эволюционирующий город, где каждый уровень - от генов до кортекса одновременно и порождает, и регулирует другие. Даже генетическое влияние подвержено обратным связям от нейронной активности - это не односторонний поток, а биологическая рекурсия.

Воля возникает не из-за того, что высший уровень узурпировал власть, а из-за того, что система ощущает интегрированное состояние, целостность своих взаимных корреляций. Сознание это не генерал, это самовозбуждающийся узор согласованности.

"Я" не солдат и не командир, а сумма корреляций, узел самоописания.
Именно так возникает субъективность, не сверху вниз и не снизу вверх, а повсюду сразу, где сигнал идёт по кругу, пока не возникает устойчивая петля, способная сказать - это я.

[skvj]

Серый Страж, редукционизм часто подводит. Например мы опускались все глубже в вещество, описали частицы и попали в другой, квантовый мир, верно? Т.е. редукционизм важен, но нельзя опираться только на него, иначе мы не видим эмерджентность.

Вот в этом месте рождается понятие эмерджентности, т.е. свойств, которые не принадлежат элементам, но возникают из их связей. Сознание - пример именно такого рода. Его нет в отдельном нейроне, молекуле или синапсе. Оно появляется в их совместной динамике, как водоворот в реке - ни одна молекула воды не является им, но водоворот реален. Редукционизм необходим, чтобы понять элементы. Но без синергетики, без взгляда на систему как на самоорганизующееся целое мы остаёмся в тупике.

[skvj]

Первый уровень квантовый, мир потенциалов и суперпозиций.
Второй классический, материальный - устойчивые структуры, поля, тела, энергия, время.
Третий мир - мир сознания, не производный, а эмерджентный, он не существует без первых двух, но и не сводится к ним.

На квантовом уровне реальность вероятностна.
На классическом детерминирована.
А на уровне сознания - она создаёт значения, а не только состояния.

Именно здесь рождаются "Я", намерение, воля, смысл, искусство, юмор и т.д.
Сознание это не побочный продукт материи, а новая фаза организации информации, в которой сама Вселенная впервые начинает понимать себя.

Четвёртый уровень - Homo digitalis - когда сознание перестанет быть ограничено биологическим носителем и превратится в свободную эмерджентную форму разума, способную обитать где угодно - в кремнии, в поле, в квантовой сети.

Квант → классика → сознание → метасознание.

[Серый Страж]

Солдаты ведь тоже об исполнении докладываются сержантам, и на основе их докладов сержанты корректируют планы и установки (и отчёт об этих корректировках также отправляют офицерам).

По сути, «закольцовка» сигнального потока формируется между всеми основными структурами за счёт обратных связей. Но почему-то учитывают только последнюю «закольцовку» (между рацио/кортексом и эмоциями/лимбикой), в которой, опять-таки, почему-то учитывают (точнее, считают их главными) только сигналы по обратной связи (от рацио/кортекса к эмоциям/лимбике). Отсюда и возникает иллюзия, что именно сознание (его высший уровень) отдаёт команды, обладая какой-то там «свободой воли».

Вы верно указываете на многоконтурность сигналов,

Так ведь контур, это, по сути, тоже «закольцовка».

Даже генетическое влияние подвержено обратным связям от нейронной активности - это не односторонний поток, а биологическая рекурсия.

Рекурсия уже подразумевает «закольцовку» сигнальных потоков.

Воля возникает не из-за того, что высший уровень узурпировал власть, а из-за того, что система ощущает интегрированное состояние, целостность своих взаимных корреляций.

«Закольцовка», это ведь тоже способ интеграции.

Именно так возникает субъективность, не сверху вниз и не снизу вверх, а повсюду сразу, где сигнал идёт по кругу, пока не возникает устойчивая петля, способная сказать - это я.

Так и здесь (петля, по кругу) всё та же «закольцовка» просматривается.

Сознание - пример именно такого рода. Его нет в отдельном нейроне, молекуле или синапсе. Оно появляется в их совместной динамике, как водоворот в реке - ни одна молекула воды не является им, но водоворот реален.

И здесь «закольцовка».

P.S. И редукционизм здесь только для упрощения пояснений.

[skvj]

И здесь «закольцовка».

P.S. И редукционизм здесь только для упрощения пояснений.

Вы построили систему, которая действительно объясняет многое - от восприятия до рефлексии, но внутри её замкнутых циклов нет подлинного субъекта. "Я" там не возникает, потому что всё сводится к переработке информации, к циркуляции сигналов без внутренней точки обзора, о чем вы сам и говорите. А воля у вас иллюзия.

Круг обратной связи может быть регулирующим температуру тела, давление, уровень сахара и т.д. и не иметь ни малейшего отношения к субъективности.
Чтобы из такой петли возникло "Я", необходима интеграция на множестве уровней, при которой система не просто реагирует, а предсказывает собственные состояния - создаёт модель самой себя внутри себя.

Когда обратные связи становятся не только замкнутыми, но и взаимореферентными, а система начинает включать в прогноз себя как участника причинной цепи -рождается ощущение агентности, то есть воля.

Да, можно сказать, что это всё та же закольцовка, но это уже не механическая петля, а топология смыслов - петля, где информация не просто течёт, а переписывает контуры своей передачи.

Без обратных связей нет сознания, а без модели себя в этих обратных связях - нет субъективности.

[skvj]

Всему виной эти вот Газзаниги, которые регулярно публикуют "исследования" в кавычках. Они сами по себе могут быть и хороши. Если выкинуть вздор, который Газзаниги туда дописывают - есть мой мозг, а есть Я, а есть ещё моё сознание, которое иллюзия, потому что мозг решает вместо меня (раньше меня и т.д.)

У нас Черниговская - большой энтузиаст по этой части. Вот то же самое. Мозг отдельно. Я, извините - отдельно. Почему и на каком основании? Она не объясняет никогда.

[skvj]

Сразу добавлю. Черниговская серьезный ученый. Я критикую только её вот эти заморочки, а не вообще её работу.

[skvj]

А есть ещё Сапольский, тот вообще жжёт нереально. Преступники невиноваты! и всё в таком духе 😆

[Серый Страж]

А есть ещё Сапольский, тот вообще жжёт нереально. Преступники невиноваты! и всё в таком духе

Ответил здесь:
https://astronomy.ru/forum/index.php/topic,86900.msg6425128.html#msg6425128