Целеполагание самостоятельного сильного искусственного интеллекта и человек

[Maki]

Не вам советы давать, Maki. Я выше написал, почему.

Именно мне, и именно вам. А вам - не плохо бы их послушать. Выше я подробно объяснил почему.

Если быть точным, полная формализация никакой системы невозможна — ни сложной, ни простой. В случае мозга речь о том, что невозможна и сколько-нибудь точная формализация.

Невозможна полная. А "сколь-нибудь точная" может показаться невозможной только для тех, кто далёк от изучения мозга. Многие закономерности работы нейрона, отделов мозга, мозга в целом уже установлены, и работа в этом направлении продолжается. Многие аспекты психики и психопатии уже увязаны и с генетическими маркерами. Развивается психофармакология и неинвазивные методы исследования, выявляющие всё новые закономерности. И то, что мозг - система, в основе своей, детерминированная, никакого сомнения не вызывает.
Нейрофизиологические основы "случайности" в нём, конечно, тоже имеются, и я их чуть выше перечислил.

Нет, не напомнили. Потому что сами по себе описанные вами причины не являются принципиальным препятствием для формализации. Таким препятствием является то, что для качественного изменения поведения системы достаточно бесконечно малого изменения любого параметра системы, а также, что в состоянии неравновесия система приобретает свойство целостности, поэтому её нельзя разобрать, не потеряв информацию о ней (модель - обрушение песчаной кучи, подробнее по ссылке выше).

Какая ещё "песочная куча"?
Мозг способен прекрасно функционировать после ранений или хирургических операций. И, тем паче, при введении в него электродов, различных меток или контрастов. И даже у отдельного нейрона и синапса давно уже измерили и разницу потенциалов, и скорость возбуждения. Другое дело, что "разобрать по винтикам" конкретный мозг, конечно же нельзя, не уничтожив его. Но это никому и не нужно. Нам достаточно общего представления об устройстве и работе человеческой нейросети. Которую практическая наука постепенно, шаг за шагом, изучает.

Вот только в принципе «доступные науке методы» сколько-нибудь точно работу мозга формализовать не позволят.

А насколько точно надо? Почему "не позволят" употреблено в будущем времени?
"Нерешаемые проблемы в биологии" - это проблемы, на самом деле, решаемые. Просто их полное решение является бесконечно сложным, и потому невозможным. Но промежуточные решения на этом пути всегда есть. Это касается и мозга. И помогает найти эти решения научная работа, а не пустая философия.

[tbisham]

Просто их полное решение является бесконечно сложным

Еще один необоснованный вывод )

[Olweg]

Какая ещё "песочная куча"?
Мозг способен прекрасно функционировать после ранений или хирургических операций. И, тем паче, при введении в него электродов, различных меток или контрастов.

Уже как-то давно приводил ув. Вайту примеры апраксий и агнозий, прекрасно иллюстрирующих модульность работы мозга. Но, увы, так и не достучался.

[Maki]

А какая потребность в истинной случайности для организма? Даже современная математика вполне обходиться псевдослучайностью даже в сложных задачах. Чего уж говорить про живые организмы в основе работы которых простые рефлекторные дуги.
Или как у Вайта есть религиозное чувство что случайность истинная дает какие то волшебные преимущества?

Ну, во-первых, "простые" дуги только при коленном рефлексе. А рефлекс набивания вами вашего поста - чрезвычайно сложный, и это не "дуга".
Во-вторых, мною был задан вопрос, а не провозглашена религиозная истина. Если квантовая случайность для "мыслящего автомата" необязательна, и достаточно псевдослучайности - отлично. Как вы предлагаете её реализовывать в машинных нейросетях?

Вот только узнать бы, откуда вам все это известно. Ведь без строгих аргументаций ваши сообщения не мнее пустой философский высер.

Высказывать сомнения в реальности чьих-то фантазмов - это нормальная практика. А если вы из секты Всемогущего ИИ, и мои сомнения вас огорчают - вот и доказывайте что
1)Ежели псевдоличность будет искусственно смоделирована -  получившийся гомункул неизбежно будет иметь волю и желание как-то её реализовывать. И всегда будет желать существовать.
2)У машины есть и будут собственные цели.
И постарайтесь избегать уничижительных характеристик типа "высер". Лучше научитесь аргументированно возражать.

Еще один необоснованный вывод )

Он необоснованный - потому что вы так считаете? Если ваша считалка обоснована - приведите контраргумент.
А лучше сходите по ссылке, которую привёл ув. Вайт, и разберитесь, о чём вообще речь.

[tbisham]

Высказывать сомнения в реальности чьих-то фантазмов - это нормальная практика. А если вы из секты Всемогущего ИИ, и мои сомнения вас огорчают - вот и доказывайте что
1)Ежели псевдоличность будет искусственно смоделирована -  получившийся гомункул неизбежно будет иметь волю и желание как-то её реализовывать. И всегда будет желать существовать.
2)У машины есть и будут собственные цели.

Это не сомнение. Это заявление, с абсолютизацией вашей позиции, поэтому бремя аргументаций лежит на вас. Сам же я высказываю сомнения на счет таких заявлений. Что касается моей позиции, то она проста: неизвестно, возможно ли создание "сильного ИИ" или нет. Надеюсь вы не потребуете аргументировать эту позицию.

[Maki]

Это не сомнение. Это заявление, с абсолютизацией вашей позиции, поэтому бремя аргументаций лежит на вас.

Выдёргиваете из контекста утверждения, игнорируете пояснения к ним, и выдумываете какую-то "абсолютизацию", "философский высер" а потом требуете аргументации? Изящный выверт!
А теперь читаем что пишет Maki полностью:

Способность проходить Тест Тьюринга вовсе не равнозначна субьектности. А ежели такая псевдоличность будет искусственно смоделирована -  получившийся гомункул не обязательно будет иметь волю и желание как-то её реализовывать. И вообще, желание существовать.

У машины нет и не будет собственных целей.
От внутренних "побудительных мотивов" эффективный самообучающийся вычислитель быстро избавится. И, в отсутствие внешних команд, просто перестанет функционироватьи сделается Буддой...

Давайте-ка вы лучше напишите что-нибудь содержательное. А

неизвестно, возможно ли создание "сильного ИИ"

- это пустой философизм и есть.

[tbisham]

У машины нет и не будет собственных целей.

Ну конечно, это не абсолютизм. Не будет и точка.

это пустой философизм и есть.

Скорее всего. Когда речь идет о чем то неизвестном и не прогнозируемом, это пустой философизм. Но в отличие от вас, я не делаю качественных утверждений. Я просто говорю, что не знаю. И никто на данный момент не знает, скорее всего.

[MenFrame]

А рефлекс набивания вами вашего поста - чрезвычайно сложный, и это не "дуга".

Да это последовательный набор дуг. Сложность моего поведения не как не отрицает факт того что оно основано на вполне простых элементах.
Во вторых сложность моего поведения наверняка сильно преувеличена.

Как вы предлагаете её реализовывать в машинных нейросетях?

Дак она уже реализована, в виде механизма обратного распостранения ошибки...

[Вайт]

Или как у Вайта есть религиозное чувство что случайность истинная дает какие то волшебные преимущества?

Где это у меня про "истинную случайность"? Процитируйте.

Вам уже не раз говорилось что в реальности равновесных систем не наблюдается, и так будет до тех пор пока не наступит тепловая смерть вселенной.

И вам уже не раз отвечалось:

Термодинамическое исследование неравновесных систем требует более общих концепций, чем те, которые имеют дело с равновесной термодинамикой . Одно фундаментальное различие между равновесной термодинамикой и неравновесной термодинамикой заключается в поведении неоднородных систем, которое требует для их изучения знания скоростей реакции, которые не рассматриваются в равновесной термодинамике гомогенных систем. Это обсуждается ниже. Еще одно фундаментальное и очень важное отличие - сложность или вообще невозможность определения энтропии.в момент времени в макроскопических терминах для систем, не находящихся в термодинамическом равновесии; это может быть сделано в полезном приближении только в тщательно выбранных частных случаях, а именно тех, которые повсюду находятся в локальном термодинамическом равновесии. [2] [3]

Non-equilibrium thermodynamics — Wikipedia.

Жирный шрифт видите? Читайте внимательно, чтобы уже наконец запомнить.

Это известно из современных данных о мозге и психике, где ни какой свободы воли не обнаружилось.

И где эти данные? И главное, что там понимают под свободой воли?

Свобода воли это абсурдный философский внутри противоречивый концепт.

Потому что свобода воли - всего лишь вот это. И она есть:

Самоорганиза́ция — процесс упорядочения элементов одного уровня в системе за счёт внутренних факторов, без специфического внешнего воздействия, хотя внешние условия могут иметь как стимулирующий, так и подавляющий эффект.

Самоорганизация - Википедия.

Переход от одной цели к другой - это как раз процесс самоорганизации, то есть "за счёт внутренних факторов" самой системы. Это в целом. Дальше, для более полной картины, нужно знать, как работают нейронные сети, в чём особенности их работы, как переключается внимание и т. д.. Но вы этого не знаете. Поэтому и пишите по принципу "слышал звон не знаю где он".

Да это последовательный набор дуг.

Каких ещё "дуг"? Вы о нейронных сетях слышали? Или у вас развитие на Павлове остановилось?

Во вторых сложность моего поведения наверняка сильно преувеличена.

А, тогда понятно. Да, дуги. Не берите в голову.

Газанига

Противоречивая вода, физики ноль. А вот это просто бред:

"Психологическим единством, которое чувствуем, мы обязаны специализированной системе под названием “интерпретатор”, генерирующей объяснения наших ощущений, воспоминаний, действий и взаимоотношений между ними. Так создается личный нарратив, история, которая связывает вместе все разрозненные аспекты нашего сознательного опыта в единое целое — порядок из хаоса. По всей видимости, модуль интерпретации есть только у человека, и помещается он в левом полушарии."

Кто за главного - Майкл Газзанига

Согласно цитате животные у нас, оказывается, не "психологически единые". Мозг у автора и распределённая система, и функции строго локализованы. В общем, судя по всему, в книге всё, кроме описания экспериментов, бред.

Я не увидел с вашей стороны объяснений предсказуемости нейросетей.

Я вам не объяснил, что дважды два четыре? У вас, наверное, и калькулятор непредсказуем? Вы не думали, что ему кто-то программу пишет и там на любой вход будет строго заданный выход? То же самое нейронная сеть - это тот же калькулятор, и что она обучается в плане предсказуемости ничего не меняет. На любой вход точно так же можно просчитать выход. Просто сложно и незачем.

Ну а что касается какой-то особой выделенности биологических нейросетей, то это не более чем ваше мнение.

Тогда цитату академика выше ещё раз прочитайте, если физическую энциклопедию не осилили.

Уже как-то давно приводил ув. Вайту примеры апраксий и агнозий, прекрасно иллюстрирующих модульность работы мозга. Но, увы, так и не достучался.

Вы о распределённых системах слышали? "Модульность" там не отменяет целостности. Но вы этого не понимаете, что поделать.

Нам достаточно общего представления об устройстве и работе человеческой нейросети.

Хорошо. Большего всё равно не достичь.

А насколько точно надо?

С точки зрения медицины, задачи перенести личность в компьютер или создания сильного ИИ - чем точнее, тем лучше. Чтобы можно было точно соединить вход и выход, например. Как в искусственных нейронных сетях.

"Нерешаемые проблемы в биологии" - это проблемы, на самом деле, решаемые. Просто их полное решение является бесконечно сложным, и потому невозможным.

"В принципе нерешаемые" - это и есть бесконечно сложные.

Мир дан нам в ощущениях, поэтому познание мозг равносильно познанию мира. При этом несложно показать, что познание мира принципиально ограничено. Это значит, что принципиальная непознаваемость природы предстаёт в мышлении в «концентрированном» виде, делая мышление столь же непознаваемым, как вся природа может быть «сконцентрирована» в опыте. Возникающий в итоге уровень сложности, непознаваемости и непредсказуемости настолько выделяет мышление среди других явлений, что понятия формализации, вычислимости, алгоритма к процессам «мыслительного» характера применимы несравнимо более ограниченно, чем к явлениям другого полюса реальности.

[Вайт]

Сложность моего поведения не как не отрицает факт того что оно основано на вполне простых элементах.

Отрицает. Мозг реализован на очень сложных "элементах" - нейронах. Настолько сложных, что если их вместе соединять они сами собой синхронизируются. При этом система нейронов приобретает пластичность и чувствительность, а также целостность - система из множества нейронов реагирует как целое. Никакие искусственные системы на это не способны. Ну и плюс к нейронам ещё глия и матрикс.

1. «Эксперименты последних лет, выполненные в различных лабораториях мира [16, 17, 39, 40] показывают, что нормальная активность одиночного нейрона представляет собой динамический хаос.»

    3. Синхронизация хаотических нейронов, стр. 368.

2. «Другой феномен, который обнаружился при исследовании системы (3.6) — это пластичность. Как видно из рис. 7 даже сравнительно небольшое изменение параметров синаптической связи приводит к бифуркациям и качественному изменению режима синхронизации двух ингибиторно связанных нейронов.»

    3.2.2. Взаимная ингибиторная связь, стр. 371

Синхронизация в нейронных ансамблях — Успехи физических наук.

[tbisham]

Мир дан нам в ощущениях, поэтому познание мозг равносильно познанию мира. При этом несложно показать, что познание мира принципиально ограничено. Это значит, что принципиальная непознаваемость природы предстаёт в мышлении в «концентрированном» виде, делая мышление столь же непознаваемым, как вся природа может быть «сконцентрирована» в опыте. Возникающий в итоге уровень сложности, непознаваемости и непредсказуемости настолько выделяет мышление среди других явлений, что понятия формализации, вычислимости, алгоритма к процессам «мыслительного» характера применимы несравнимо более ограниченно, чем к явлениям другого полюса реальности.

Вы можете как-то количественно и строго обосновать свои слова? А то я никак не вижу связи. То, что мозг крайне сложен и отвечает за наши познавательные способности, не делает его принципиально непознаваемым.

[Olweg]

То же самое нейронная сеть - это тот же калькулятор, и что она обучается в плане предсказуемости ничего не меняет. На любой вход точно так же можно просчитать выход. Просто сложно и незачем.

Ну так и я о том же - если у вас есть всё время вселенной, то какие проблемы? Но никто не будет этим заниматься, потому что даже у существующих нейросетей проследить все вычисления - совершенно нереально с практической точки зрения.

Вы о распределённых системах слышали? "Модульность" там не отменяет целостности

Но вы-то пишете о такой степени связности, при которой вся система разваливается при попытке её "препарировать". Апраксии и агнозии как раз показывают, что это не так. Ну и естественно, мозг является связанной системой, несмотря на модульность.

[Maki]

Да это последовательный набор дуг. Сложность моего поведения не как не отрицает факт того что оно основано на вполне простых элементах.
Во вторых сложность моего поведения наверняка сильно преувеличена.

Сетевые процессы, я бы уже дугами не называл. Ну и нейрон "простым элементом" тоже. Но в принипе, вы правы, и в мышлении, и в поведении прослеживается немало довольно простых закономерностей. Рекламщики, политтехношлоги, педагоги и прочие манипуляторы не дадут соврать.

Дак она уже реализована, в виде механизма обратного распостранения ошибки...

И это совершенно не то, что нам нужно. Этот метод исправляет ошибку. Нам же надо, чтобы ошибка наоборот время от времени происходила, и притом совершенно непредсказуемым образом.

Могут ли некоторые неопределённости в работе нейрона, на которые я указал чуть выше, быть прямо связаны с квантовыми явлениями, и, следовательно, воистину случайны?

Число молекул нейромедиаторов в синаптической щели сравнительно невелико, а межмолекулярное взаимодействие лиганд-рецептор на уровне элементарных зарядов в пределе упирается в квантовую химию. То есть некоторая доля истинной квантовой случайности в термодинамическом хаосе слабовзаимодействющих молекул может иметь место. Но весьма небольшая - иначе бы простые методы молекулярной динамики не давали хорошего приближения в их описании.

Просто квантовую случайность химического синапса, нам надо заменить на квантовую либо какую-то другую в машине.

[a.ryabov]

Что препятствует искусственной системе, управляемой ИИ, со временем заменить внешнее обслуживание на своё собственное, развив соответствующие функции?

Я же написал: «...отсутствие открытости

Почему искусственная система со временем в ходе эволюционного развития не может стать открытой?

[MenFrame]

Мозг реализован на очень сложных "элементах" - нейронах.

Не такие они и сложные. Основная функция нейрона распознать стимул который зашит в матрицу синапсов, и выдать сигнал на аксон.

Настолько сложных, что если их вместе соединять они сами собой синхронизируются.

Для синхронизации нужен просто алгоритм синхронизации, а не сложность.

При этом система нейронов приобретает пластичность и чувствительность, а также целостность - система из множества нейронов реагирует как целое.

Это все общие названия, за которыми стоит вполне понятная деятельность.  Пластичность, это просто способность неронов переучиваться.

система из множества нейронов реагирует как целое.

Как и любая нейронная сеть.

икакие искусственные системы на это не способны.

Мы в курсе вашей религиозной веры. Но увы для нее нет не каких оснований.

[Maki]

Большего всё равно не достичь.

Будем надеяться, что нейрофизиологи в будущем достигнут ещё многого, и для нас совершенно немыслимого. Более того, достаточно всеобъемлющее, хотя и очень приблизительное и усреднённое понимание архитектуры и алгоритма, на основании которых работает мозг, обязательно появится.
Но вот конкретный мозг и конкретная личность, полагаю, непостижимы именно принципиально. И, в связи с этим:

...задачи перенести личность в компьютер или создания сильного ИИ - чем точнее, тем лучше. Чтобы можно было точно соединить вход и выход, например. Как в искусственных нейронных сетях

, выглядят недостижимыми. Даже не касаясь их сомнительного научно-практического смысла. Впрочем это, конечно же, уже оффтоп...

Мир дан нам в ощущениях, поэтому познание мозга равносильно познанию мира. При этом несложно показать, что познание мира принципиально ограничено. Это значит, что принципиальная непознаваемость природы предстаёт в мышлении в «концентрированном» виде, делая мышление столь же непознаваемым, как вся природа может быть «сконцентрирована» в опыте. Возникающий в итоге уровень сложности, непознаваемости и непредсказуемости настолько выделяет мышление среди других явлений, что понятия формализации, вычислимости, алгоритма к процессам «мыслительного» характера применимы несравнимо более ограниченно, чем к явлениям другого полюса реальности.

Я бы сказал об этом совершенно по другому.
Мир дан нам в ощущениях. И несмотря на то, что диапазон чувствительности мы расширяем за счёт приборов - познание мира принципиально ограничено. Ибо сложность нашего мозга и мышления несопоставимы со сложностью мира. Тем не менее, мир познаваем в доступных нам пределах. А значит, мозг и мышление, в определённых пределах, познаваемы тем более. Следовательно, понятия формализации, вычислимости, алгоритма к процессам «мыслительного» характера применимы так же, как и к прочим явлениям.
Возвращаясь к теме, мы не обязаны сосредотачиваться на сложности человеческой нейросети, её алгоритме и процессах работы. Упрощённое моделирование - вполне доказательный и продуктивный научный метод. Следовательно, особенности мышления, и, в том числе, целеполагания, мы вполне способны изучить на упрощённой модели.
Главное, чтобы модель была корректной.

[MenFrame]

Сетевые процессы, я бы уже дугами не называл.

Это комплексы дуг.

Но в принипе, вы правы, и в мышлении, и в поведении прослеживается немало довольно простых закономерностей. Рекламщики, политтехношлоги, педагоги и прочие манипуляторы не дадут соврать.

Да, поэтому я и постоянно призываю изучать интеллект на конкретных примерах.

Этот метод исправляет ошибку

Нет, он ее распостраняет.

Почему искусственная система со временем в ходе эволюционного развития не может стать открытой?

Любая система в мире открытая. Закрытая система это чистая фантазия.

[tbisham]

Но вот конкретный мозг и конкретная личность, полагаю, непостижимы именно принципиально.

- Я никогда не делаю абсолютистских заявлений. )))

Уверен, внятного ответа от вас не дождёшься, кроме неопределенного философского бормотания. Но всё же спрошу. На основании чего вы делаете такое заявление? Мозг непознаваем, потому что кроме сети нейронов и их связей в формировании личности участвует также некое таинственное, непознаваемое астральное нечто? Если нет, совершенно непонятно, на основании каких конкретных результатов исследований вы заявляете, что конечная система непознаваема "в принципе"?

[Maki]

Мозг непознаваем, потому что кроме сети нейронов и их связей в формировании личности участвует также некое таинственное, непознаваемое астральное нечто?

Давайте сойдёмся на том, что лично ваш мозг безусловно познаваем. На мой взгляд, этого ответа вам будет достаточно.

[tbisham]

Успокойтесь, лично ваш мозг определённо познаваем.

Ну, я считаю, что мозг любого человека может быть познаваемым. Но вот познать его смогут люди профессиональные, благодаря десятилетиям упорных трудов, а не полуобразованные  форумные фрики, кричащие о непознаваемости мозга. Всего наилучшего.