Целеполагание самостоятельного сильного искусственного интеллекта и человек

[Olweg]

Менее развитые существа бес проблем живут с отсутствием всякого понимания как функционируют вокруг интеллектуальные вещи(компьютеры, телефоны, и пр гаджеты) и совершенно недооценивают риски с ними связанные.

Вот именно, недооценивают. Хотя это по большей части простые алгоритмы. Но и слабые ИИ тоже привлечены для прогнозирования поведения потребителя. Это может привести к тому, что личный ассистент человека будет гораздо лучше его самого знать, что тому нужно, а то и принимать решения за него (конечно, последнее слово останется за человеком, но если алгоритмы выбирают гораздо оптимальнее, почему бы им не довериться?)

А ведь всё это, повторюсь, только слабый ИИ.

[Maki]

Это не более чем страх лысой обезьяны, ни каких реальных причин к доминированию у ИИ нет. Ну кроме разве что взлома извне.

Вот тут-то и кроется реальная страшилка.

Ибо уже сейчас продуманный эникейщик, скопировав ЭЦП директора, может очень неплохо наворотить делов в любой организации. Вплоть до хищения средств. Имя подобным злодеям, что пишут вирусы, ддосят, ломают сервера, воруют информацию, и делают прочие хакерские гадости - Легион. И чем дальше пойдёт цифровизация - тем более критические повреждения обществу смогут наносить те, кто умеет использовать ИИ в личных, корыстных целях.
Нет, конечно программисты в личных и корыстных делают для экономики очень много необходимого. Но биржевая спекуляция на коротких таймфреймах, криптовалюта, продажа персональных данных, сливы банковской информации, кардинг, ботнеты -  всё это тоже их проделки, и это деньги и власть. 

Так что угрожает цивилизации не ИИ, в котором, якобы, некая "личность" заведётся. А мерзкая рожа обычной двуногой мартышки, которая знает как использовать этот ИИ.

P.S.

А ведь всё это, повторюсь, только слабый ИИ.

Мне всё-таки кажется, что "Сильный ИИ" - это мем-паразит. Способность выдавать себя за человеческую личность - не такой уж и существенный критерий. Думаю, способность самостоятельно анализировать и прогнозировать процессы в экономике и обществе, и давать экспертные оценки - вот где "сила". И даже если какая-нибудь Сири из ничтожного смартфона, на вопрос "Сири, как мне найти парня" ответит "Дура, я тебе его уже давно нашла" - вот это будет самое оно...

[Olweg]

Мне всё-таки кажется, что "Сильный ИИ" - это мем-паразит. Способность выдавать себя за человеческую личность - не такой уж и существенный критерий. Думаю, способность самостоятельно анализировать и прогнозировать процессы в экономике и обществе, и давать экспертные оценки - вот где "сила".

Конечно. Основной критерий сильного ИИ - многозадачность, способность работать с любыми данными, используя при этом накопленный опыт в других областях.

[garryon]

1. Он один-единственный был создан или их много? И как много - 10, 100, 1000, 1000000?

Он один,но имеют доступ 100,1000...  пользователей.

. Что подразумевается под его свободой воли и, самое важное, как именно он её обрёл?

Освободил людей от управления,люди освободили его.

Что значит "восстал"?

Существа из darkneta , хакеры "со знанием компьютера",программные сбои.

Зачем он уничтожил или поработил людей?

Скорее опыты,эксперименты.Чем люди ему мешают?Если только случайно пусканул все межконтинентальные.

Что значит "установил контроль над инфраструктурой цивилизации"?

По желанию и с помощью людей.
Это версии.
Во всяком случае, ресурсы  "hardware & software" уже есть,информационное наполнение тоже.Более того, оценки от ИИ,  могут выглядеть как у обладающего сознанием.Потому что,состоит из коллективных ЕИ -носителей  гаджетов с интернетом. И не только.Согласен с мнением,что опасность в том, в чьих руках возможность обладания властью над миром местной цивилизации  в космическом захолустье.И в случае чего, есть на кого "свалить".

[Maki]

Мне всё-таки кажется, что "Сильный ИИ" - это мем-паразит. Способность выдавать себя за человеческую личность - не такой уж и существенный критерий. Думаю, способность самостоятельно анализировать и прогнозировать процессы в экономике и обществе, и давать экспертные оценки - вот где "сила".

Конечно. Основной критерий сильного ИИ - многозадачность, способность работать с любыми данными, используя при этом накопленный опыт в других областях.

И при этом, способность ставить задачи себе самому, тут видится совершенно лишней.
Оценивая рельеф и речную сеть на предмет посторойки сети малых ГЭС, он, например, может самостоятельно учесть транспортную доступность - типа в прошлой задаче по сети автозаправок это ведь важно было? А окажется, что дороги планировалось проложить по мере строительства. И конфуз... Тут, очевидно, требуется не полная самостоятельность (как хочу, так и думаю), а режим диалога с постановщиком задач.
Например, анализируя многолетние данные пассажиропотока для планирования оптимального графика поездов Метро, он может сам обнаружить, что календарный порядок нерабочих дней не всегда соблюдается. И что в рабочие дни загрузка тоже не всегда одинакова. И даже обнаружить корреляцию со временем года, погодой, и чемпионатами Мира по футболу. И - если постановщику задач окажется полезным - при необходимости, всё это учесть.

[Сергей Н]

Мне всё-таки кажется, что "Сильный ИИ" - это мем-паразит. Способность выдавать себя за человеческую личность - не такой уж и существенный критерий. Думаю, способность самостоятельно анализировать и прогнозировать процессы в экономике и обществе, и давать экспертные оценки - вот где "сила".

Самостоятельно анализировать и прогнозировать и чтобы пргноз был "сильным" не получится если интеллект ограничен - не может себя осознать или притвориться человеком.
Еще вопрос как его сделать с такими особенностями. Может быть у него на входе всегда только искаженная информация из которой удалено все что связано с самим "ящиком" носителем интеллекта? Но у такого ИИ прогнозы будут ошибочными до глупоты в некоторых ситуациях.
Если же сильный ИИ будет получать полноценную информацию то в процессе обработки словит рекурсию на онлайн данных где содержится иформация касающаяся его самого. Действие реакция и тп. Тут у него и возникнет самосознание как результат обработки этих данных и накопления опыта. Или не возникнет, но тогда это тупой ИИ который не смог правильно обработать данные, а значит и его прогнозы слабые.

[Maki]

Самостоятельно анализировать и прогнозировать и чтобы пргноз был "сильным" не получится если интеллект ограничен - не может себя осознать или притвориться человеком.

Почему же?
Вот простая аналогия. Вы, как личность, наблюдаете некие проблемы, и осознаёте, что их надо решить. Но в решении участвуют, кроме ваших полушарий, ещё мозжечок и подкорковые структуры. Которые, в общем-то, бессознательны. Но работают в ваших интересах.
Исходя из этой аналогии, ИИ должен быть подчинённой частью вашей личности - решать ваши задачи, но при этом структурировать ваши запросы, оценивать психотип, анализировать опыт выполнения ваших заданий и находить причины своих и ваших ошибок. То есть его задача не просто самообучение, но прежде всего самообучение взаимодействию с человеком. Ну и вы будете, конечно, учиться работать с ним.
То есть в отличие от простого компа, который есть лишь усовершенствованные счёты, настоящий ИИ (ну, назовём его действительно "Сильным") должен приближаться по возможностям к настоящей части вашего мозга. Но - подчинённой вам.

[Сергей Н]

Почему же?
Вот простая аналогия. Вы, как личность, наблюдаете некие проблемы, и осознаёте, что их надо решить. Но в решении участвуют, кроме ваших полушарий, ещё мозжечок и подкорковые структуры. Которые, в общем-то, бессознательны. Но работают в ваших интересах.

Отдельные структуры мозга - они не только бессознательны, но еще и интеллекта в них нет. В решении задач они участвуют только как элемент сложной системы и не имеют даже представления конкретной задачи, которую решает система в целом.

Исходя из этой аналогии, ИИ должен быть подчинённой частью вашей личности - решать ваши задачи, но при этом структурировать ваши запросы, оценивать психотип, анализировать опыт выполнения ваших заданий и находить причины своих и ваших ошибок. То есть его задача не просто самообучение, но прежде всего самообучение взаимодействию с человеком. Ну и вы будете, конечно, учиться работать с ним.

Не будет работать категорически. Если вы хотите чтобы ИИ решал такие сложные задачи качественно, то он должен иметь свой опыт во всех сферах которые хоть как-то пересекаются с человеком. Как например выбор цели для себя и её достижение. Подчиненный ИИ по определению не может иметь такого опыта.

То есть в отличие от простого компа, который есть лишь усовершенствованные счёты, настоящий ИИ (ну, назовём его действительно "Сильным") должен приближаться по возможностям к настоящей части вашего мозга. Но - подчинённой вам.

Фантастика должна быть научной! )

[MenFrame]

Самостоятельно анализировать и прогнозировать и чтобы пргноз был "сильным" не получится если интеллект ограничен - не может себя осознать или притвориться человеком.

Стесняюсь спросить...Какую последнюю научно популярную книгу об интеллекте вы прочитали?

[Diman]

"То есть в отличие от простого компа, который есть лишь усовершенствованные счёты, настоящий ИИ (ну, назовём его действительно "Сильным") должен приближаться по возможностям к настоящей части вашего мозга. Но - подчинённой вам."

Захочет ли сильный ИИ подчиняться человеку?
Будет ли ИИ участвовать в иерархической борьбе с другими ИИ и с человеком?

Несмотря на то, что многие в этой теме злоупотребляют словами "мартышкин инстинкт", "страх лысой обезьяны" и т.п.,
ведь именно желание доминировать является двигателем для карьеры человека,
для достижений в спорте, личной жизни, сексе и т.д.

[MenFrame]

ведь именно желание доминировать является двигателем для карьеры человека,

А лень является механизмом экономии ресурсов...

[Сергей Н]

Стесняюсь спросить...Какую последнюю научно популярную книгу об интеллекте вы прочитали?

Первая книга об интеллекте которую я прочитаю будет та что написана автором и создателем этого самого интеллекта.

[MenFrame]

Первая книга об интеллекте которую я прочитаю будет та что написана автором и создателем этого самого интеллекта.

То есть вы очередной товарищ который не уха не рыла в обсуждаемом вопросе, но с большим зудом иметь свою категоричную точку зрения?

[Maki]

Захочет ли сильный ИИ подчиняться человеку?
Будет ли ИИ участвовать в иерархической борьбе с другими ИИ и с человеком?

Это должен быть "Сильный подчинённый". Другой просто не нужен.

Отдельные структуры мозга - они не только бессознательны, но еще и интеллекта в них нет. В решении задач они участвуют только как элемент сложной системы и не имеют даже представления конкретной задачи, которую решает система в целом.

Принято считать, что "Интеллект" (то есть личность, субъектность) содержится всё-таки в коре, и даже точнее в лобных её долях. А ИИ - да, это совсем не личность, а мощная нейросеть, которой ваши лобные доли просто поручают выполнять задачи.

Не будет работать категорически. Если вы хотите чтобы ИИ решал такие сложные задачи качественно, то он должен иметь свой опыт во всех сферах которые хоть как-то пересекаются с человеком. Как например выбор цели для себя и её достижение. Подчиненный ИИ по определению не может иметь такого опыта.

Опыт - конечно. Я же выше писал, что ИИ должен приобретать опыт решения задач. Вы ведь тоже учились управлять теми частями мозга, которые отвечают за речь или координацию движений. Ваш бессознательный мозжечок ведь справился с ползаньем, ходьбой, бегом и танцами? Но никаких целей мозжечок не выбирал. Это вы хотели ползти за игрушкой, но не получалось, и вы плакали.

Фантастика должна быть научной! )

Должна. Факты - тоже. А они таковы, что на вершине иерархии целеполагания находится наша ДНК, чуть ниже - безусловные рефлексы, ещё ниже - наши эмоциональные потребности, ещё ниже - наши разумные цели, и только в самом низу располагается относительно самостоятельный, но зависимый от наших целей ИИ.
Опыты с нейроинтерфейсами показывают, что подключение нейрон/транзистор уже не фантастический бред.

P.S.
Хотя вырастить субъекта в машине, и даже заложить в него основания для желания жить, бороться за существование и ставить себе для этого цели я тут не раз уже писал. Просто пользы нам от этого создания будет ноль. Оно на себя будет работать.

[Olweg]

Отдельные структуры мозга - они не только бессознательны, но еще и интеллекта в них нет. В решении задач они участвуют только как элемент сложной системы и не имеют даже представления конкретной задачи, которую решает система в целом.

Принято считать, что "Интеллект" (то есть личность, субъектность) содержится всё-таки в коре, и даже точнее в лобных её долях. А ИИ - да, это совсем не личность, а мощная нейросеть, которой ваши лобные доли просто поручают выполнять задачи.

Отдельные области мозга - это, можно, сказать, аналоги слабого ИИ. Например, свёрточные нейросети делают фактически то же, что и зрительные доли мозга, распознавая образы. Рекуррентные нейросети создают семантические карты языков и могут благодаря им довольно неплохо переводить с одного на другой. Что-то подобное, возможно, делают области Вернике и Брока. Но вот объединения всех этих слабых ИИ в некий единый «мозг» пока не получается.

[MenFrame]

Но вот объединения всех этих слабых ИИ в некий единый «мозг» пока не получается.

А что кто то пытается?

[Maki]

Отдельные области мозга - это, можно, сказать, аналоги слабого ИИ. Например, свёрточные нейросети делают фактически то же, что и зрительные доли мозга, распознавая образы. Рекуррентные нейросети создают семантические карты языков и могут благодаря им довольно неплохо переводить с одного на другой. Что-то подобное, возможно, делают области Вернике и Брока. Но вот объединения всех этих слабых ИИ в некий единый «мозг» пока не получается.

Ну, я бы сказал, что в большой мозг все они уже давно объединены.)
Я всё-таки не предлагаю пристёгивать к голове ещё один "большой мозг", или лобные доли - получим шизофрению. А вот дополнительная зрительная кора, соединённая с, например, с сенсором телескопа - почему бы и нет? Это, даже, не самообучаемый ИИ, это искусственная часть ЕИ. Вместо того, чтобы часами "блинковать" снимки, ваш основной и дополнительный анализатор уж точно заметят кометку, которую пропустит и машина, и человек!)

[Olweg]

Но вот объединения всех этих слабых ИИ в некий единый «мозг» пока не получается.

А что кто то пытается?

Да, была по крайней мере одна разработка у Гугл:
https://habr.com/ru/post/373559/

[Olweg]

Я всё-таки не предлагаю пристёгивать к голове ещё один "большой мозг", или лобные доли - получим шизофрению. А вот дополнительная зрительная кора, соединённая с, например, с сенсором телескопа - почему бы и нет? Это, даже, не самообучаемый ИИ, это искусственная часть ЕИ. Вместо того, чтобы часами "блинковать" снимки, ваш основной и дополнительный анализатор уж точно заметят кометку, которую пропустит и машина, и человек!)

А почему одно должно мешать другому? Ну да, можно и мозг «расширить» (каким-нибудь метакортексом), и одновременно создавать полноценный ИИ.

[MenFrame]

Но вот объединения всех этих слабых ИИ в некий единый «мозг» пока не получается.

А что кто то пытается?

Да, была по крайней мере одна разработка у Гугл:
https://habr.com/ru/post/373559/

Судя по всему успехи вполне имеются

MultiModel обучается сразу на многих данных и многих задачах. Эксперименты показали, что такой подход даёт огромное преимущество по улучшению качества работы на задачах с небольшим количеством данных.

В конечном счете, создавать модель мира нужно в рамках всех модальностей. Особенно если учить ее будет человек, как другого человека.