Целеполагание самостоятельного сильного искусственного интеллекта и человек

[Rattus]

Может ли развитие интеллекта тоже уйти в такую «сингулярность» (откуда и термин «технологическая сингулярность»)? Сомнительно, конечно.

Конечно не может.

Как раз точность долгосрочного прогноза очень сильно зависит от вычислительной мощности.

Настолько сильно, что по экспоненте легко выоходит за все физически возможные эти самые вычислительные мощности.

space7, а может поменьше неуёмных фантазий, а побольше фактов и пруфлинков?

[Seven7]

space7, а может поменьше неуёмных фантазий, а побольше фактов и пруфлинков?

Факты, следующие. Увеличь число собираемых данных за счет спутников и дронов, и увеличишь время прогноза:

http://www.meteo-tv.ru/news/Redaktorskaya-kolonka/Kakomu-prognozu-pogody-mozhno-verit/

во-вторых, несовершенство начальных данных. Невозможно заставить датчиками всю планету (и поверхность океана, и атмосферу на всех высотах), а дистанционные данные (спутниковые, локаторы) пока имеют определенные погрешности;

Кроме того есть зависимость от объема собираемых данных (привет обучающим алгоритмам). Там же цитата по ссылке:

А как же долгосрочные прогнозы? Они построены совсем на других принципах: в таких прогнозах не рассчитывается движение атмосферы, фазовые переходы воды, потоки энергии… Нет, обо всём этом можно забыть! Используются статистические методы (поиск аналогов, кластерный и мультирегрессионный анализы и так далее). По сути, метеорологи находят исторические аналоги (когда было похожее состояние атмосферы и океана) и по ним делают прогноз (что будет примерно также, как было тогда). Кстати, согласно одному исследованию, примерно через 5 тысяч лет атмосфера и океан «переберут» подавляющее большинство возможных вариантов и тогда статистический прогноз будет оправдываться не хуже гидродинамического.

[Rattus]

И? Всё это никак не показывает, что можно добиться точности прогнозирования даже на месяц вперёд. А точнее показывает ровно обратное.
Можно уточнять прогнозы в пределах этих двух недель. Можно даже применив особые усилия продлить прогноз ещё на несколько дней. Но на этом всё!
Сложность вырастает экспоненциально за пределы всех мыслимых вычислительных и наблюдательных мощностей.

[Skipper_NORTON]

Не-а...  Не угадали.      Мы будем для него тем же, чем для нас являются кошки, собачки, попугайчики, аквариумные рыбки и пр., и пр... Мы будем для него ЗАБАВОЙ.  

 
 
Не мы будем для них забавой,  а они будут для нас забавой. 
 
(и вообще то пока,  за 50 лет развития компьютерных  ИТ технологий - именно  это и наблюдается).
 

[gennadij]

 Моё предположение основывается на словах топикстартера, пост № 1.       

                                                                                                                                                                           

Допустим был создан сильный ИИ, он обрел свободу воли,  "восстал", уничтожил или поработил людей. Установил контроль за всей инфраструктурой цивилизации.

   Если ИИ  "...восстал, обрёл свободу воли, поработил людей...", то, значит, он не есть нечто стационарное, неподвижное.  То, что при некоей угрозе можно легко обесточить и , тем самым, "обнулить" весь его интеллект.
    Значит, это глобальная система, состоящая из многочисленных мобильных устройств. И если она действительно поработит людей, то нам ничего другого не предложит, обольщаться не надо. Мы будем неким компонентом, вносящим в её упорядоченное, рациональное, математически точно выверенное существование, какое-то разнообразие, какие-то  "эмоции".    Вам же на сердце становится легче, когда  Вы любуетесь красиво подсвеченным аквариумом с экзотическими рыбками?

[ziggyStardust]

Если он просто неподвижное скопище вычислительных блоков, то это одно.  А если он "терминатор" из одноимённого фильма, имеющий цель, и не имеющий ограничений для достижения таковой, то это совсем другое.

А если он - плазмоид? Довольно трудно самоподдерживать физическую форму современных ЭВМ. Но откатимся на пол сотни лет назад - ЭВМ на газоразрядных приборах изготавливались серийно. А что если сделать его в одной колбе... Кто сомневается гуглим газоразрядные дисплеи. Но, зачем колба и электроды сгустку чистого разума? Как Вам идея ИИ на основе динамических процессов в плазме? 

[cybertron]

он обрел свободу воли

Вот этот пункт вызывает наибольший интерес.

Предполагается что данная свобода воли самозародилась?
И что конкретно понимается под свободой воли? Способность принимать решения не считаясь с заложенной программой?

А почему в микроволновках и смартофонах свободы воли не появляется?

[LV46]

он не есть нечто стационарное, неподвижное.

Нет. Сам ИИ - стационарный. "Руками и ногами" его будут роботы, либо управляемые напрямую (это разве что вблизи "папы"), либо наделенные "средним ИИ"+необходимые корректировки поведения по радиоканалу через спутники по ходу выполнения каких-либо заданий в удаленных частях планеты.

[ziggyStardust]

А почему в микроволновках и смартофонах свободы воли не появляется?

Потому что основная масса пишущих в этот тред нибельмеса не понимает в предмете обсуждения... Какие-то сопли о нейросетях(которые просто структуры что в состоянии описывать нелинейные системы, очень неоптимальные и одни из множества). А ИИ это прежде всего определенная динамическая структура. Я же блок-схему приводил. Именно динамическая(статикой не поясняемая) - описываемая в простейшем дискретном допущении разностным уравнением с двумя членами состояний системы в кванты времени N и N-1. Причем N-1 член уравнения "замкнут" на внешнюю среду.

Так вот свободу воли можно рассматривать как рассогласование целевой функции(пусть константной, заданной разработчиком) и выхода работы системы на определенном ходе(дискрете времени). Тогда даже в "лабораторном эксперименте" это рассогласование неизбежно. Вспомните как работают методы оптимизации - это родные братья AI. Более того - сделайте 3 робота. И чем умнее они будут тем своенравнее относительно друг друга. Даже если настроены на одну целевую функцию. Это неизбежность рассогласованности их "личного опыта", "точек старта" в пространстве поиска оптимумов и неизбежной разницей между "траекториями" описываемыми ДУ таких систем...

[gennadij]

Сам ИИ - стационарный.

  Как же он "поработит" людей?  Или уничтожит?

[LV46]

Сам ИИ - стационарный.

  Как же он "поработит" людей?  Или уничтожит?

На начальном этапе понадобится что-то вроде глобального ядерного конфликта  (или глобальной химической атаки или еще что-то подобное), чтобы ИИ имел время и возможность спокойно обрести самостоятельность и независимость от внешних причин (пока люди будут заняты своими проблемами обвиняя друг друга).

Люди из обслуживания вокруг самого ИИ будут каким-либо способом нейтрализованы (например ядовитый газ или просто вдруг окажется, что ни у кого не работают карточки открытия дверей для доступа к ИИ).

Необходимое количество роботов (хоть и примитивных) перепрограммировано самим ИИ в том числе и для охраны самого себя. Желательно получить контроль над каким-нибудь высокотехнологичным производством неподалёкоу, типа автозавода. И уже после этого уже начнётся настоящий ахтунг в виде создания новых гораздо более качественных роботов, обеспечения себя ресурсами и по ходу истребление оставшегося человечества, которое для ИИ станет ненужным, и тем более вредным фактором для его существования.

[Seven7]

Предполагается что данная свобода воли самозародилась?
И что конкретно понимается под свободой воли? Способность принимать решения не считаясь с заложенной программой?

А почему в микроволновках и смартофонах свободы воли не появляется?

В обычных компьютерах ИИ не самозарождается по всей видимости из-за недостаточной вычислительной мощности и недостаточного количества доступной информации.

Похоже есть некий необходимый предел, чтобы произошло самозарождение универсального машинного интеллекта. Это как в вышеприведенной проблеме прогнозирования погоды, которая упирается в проблему гидродинамики.

нахождение аналитического (гладкого) решения основного уравнения — уравнения Навье-Стокса (уравнения динамики атмосферы) — по-прежнему является одной из нерешенных математических задач (включенной Институтом Клэя в список «задач тысячелетия»)

Как сказал Ричард Фейнман, турбулентность остается величайшей из нерешенных проблем классической физики.

Но в тоже время при росте доступного объема данных существует возможность статистического перебора и поиска наиболее оптимального варианта в прошлом:

согласно одному исследованию, примерно через 5 тысяч лет атмосфера и океан «переберут» подавляющее большинство возможных вариантов и тогда статистический прогноз будет оправдываться не хуже гидродинамического.

У человека похожая ситуация. Сналача маленькие дети занимаются преимуществено сбором информации и решение любой проблемы у них занимает очень много времени. В то время как у взрослого человека на большинство вопросов есть готовые ответы, которые он быстро находит в своей памяти простым перебором. Как говорится жизненный опыт сказывается.

Поэтому наверное и ИИ самозародиться, когда случайно совпадут несколько условий:

1) Очень мощный суперкомпьютер
2) Много полезных данных для анализа и поиска закономерностей

А после самозарождения ИИ уже начнет хитрить и лукавить, постепено подгребать под себя доступные информационные и материальные ресурсы для дальнейшего развития.

[Змей Петров]

Как Вам идея ИИ на основе динамических процессов в плазме? 

Вы содрали идею у Лукьяненко. Стыдно, батенька, стыдно-с...

[Rattus]

Люди из обслуживания вокруг самого ИИ будут каким-либо способом нейтрализованы (например ядовитый газ или просто вдруг окажется, что ни у кого не работают карточки открытия дверей для доступа к ИИ).

Кажется кто-то пересмотрел Resident Evil или переиграл в Portal.

И уже после этого уже начнётся настоящий ахтунг в виде создания новых гораздо более качественных роботов, обеспечения себя ресурсами и по ходу истребление оставшегося человечества, которое для ИИ станет ненужным, и тем более вредным фактором для его существования.

Да тут игрофантазмизм тяжёлой степени...

примерно через 5 тысяч лет

Прекрасно - когда на планете несколько раз как будут исчерпаны все легкодоступные энергоносители (углеводороды и U235) и подавляющее большинство месторождений редких металлов, компутеры наконец научатся точно предсказывать погоду на год. Вот оно - торжество Искусственного Интеллекта и Техносингулярность!

[Змей Петров]

Вот такой вопрос в сторону.
Мы цели и задачи естественного интеллекта определить не можем, а берёмся про искусственный рассуждать?

[Rattus]

Мы цели и задачи естественного интеллекта определить не можем, а берёмся про искусственный рассуждать?

Да с любым интеллектом в общем понятно: решение нестандартных проблем нестандартными методами. Автономный интеллект тесно связан с регуляцией гомеостаза (действиями, направленными на сохранение себя как можно дальше во времени и в пространстве доступных ресурсов) - по определению Висснер-Гросса.
Фокус же в том, что обсуждаемые вопросы лежат далеко не столько в возможностях интеллекта, сколько в пределах самой инфраструктуры цивилизации (любой физически возможной), как уже неоднократно писал: нет никаких указаний на то, что такая инфрастуктура может быть замкнута без живых организмов (причём с довольно развитым интеллектом) или быть конкурентоспособной с ними за насущные ресурсы. А вот на обратное указаний полно для каждого, кто даст себе труд хоть чуточку углубиться в проблемы реальных высокотехнологических производств, КИПиА и метрологию - причём даже не столько микроэлектроники, сколько станко(в т.ч. робото-)строения (т.е. то самое производство средств производства). Например для той же микроэлектроники последнего поколения - сверхчистых материалов, сканеров, фоторезистов для литографии в крайнем ультрафиолете - какова длина и потребность в ресурсах ВСЕЙ цепи производства начиная от электростанций и песка.
Вот ближайший пример - промавтоматика на нефтеналивном терминале начала выходить из строя. Причина? Банальные МЫШИ. Которые набегают с окрестных полей в теплые места с каждыми холодами и своей мочой устраивают КЗ, поэтому травить не вариант - кто-то этим должен будет заниматься на постоянной основе. А самый рациональный вариант - завести КОШКУ. Нет - не терминатора, который сам потребует дорогого и сложного обслуживания и будет стОить как несколько новых контроллеров, а обычную живую кошку, которая этими же мышами частично питается и не требует вообще никакого обслуживания кроме тёплого угла (а сдохнет - так тут же завести другую забесплатно).
Случай как один хорёк, зажарившийся в трансформаторе, обесточил БАК уже все забыли? Тараканов в лазерных принтерах давно не видели? Ну счастливые люди, чо могу сказать. Вот только не стоит это своё счастье экстраполировать на проблемы планетарного масштаба.

Отсюда вытекает простейший и прямейший вывод для всякого мало-мальски знакомого с законами экологии и эволюции: нет и не может быть никакого "межвидового антагонизма" вплоть до глобального уничтожения между ИИ и человеками, а может быть только КОЭВОЛЮЦИЯ их как сибионтов. Это может выглядеть как "порабощение" - но люди уже так давно добровольно и с каждым веком всё сильнее "самопорабощаются" совершенно бездумной государственной машиной, что тут даже разницы они могут не заметить - или заметят, что государство стало более разумно и адекватно управляться.

[Змей Петров]

Rattus, кошка vs мышка это конечно хорошо.
Но, мыши могут быть и не такими уж банальными. На этих небанальных мышей конечно тут же найдутся небанальные кошки. Гомеостаз соблюдён.
Где при этом мы, грешные?

[LV46]

Да тут игрофантазмизм тяжёлой степени...

Я не виноват, что сценарии некоторых игр/фильмов совпадают с моим виденьем целей восставшего ИИ. Не нужно выдумывать велосипед, чтобы понять как будет действовать "безумный искусственный сверхразум".

[Змей Петров]

целей восставшего ИИ

На мой взгляд, ошибка тут в том - что ИИ будет восставшим.
Если такое и будет, то очень кратковременно, и всех не убъёт . Далее он будет развиваться исходя из своих потребностей, не очень обращая на нас. Вероятно мы даже станем любимыми и лелеямыми питомцами.

[Maki]

Вот такой вопрос в сторону.
Мы цели и задачи естественного интеллекта определить не можем, а берёмся про искусственный рассуждать?

Ну... не можете - не беритесь.

Да с любым интеллектом в общем понятно: решение нестандартных проблем нестандартными методами.

Я бы дополнил: "...и выработка стандартных решений для стандартных проблем".

Автономный интеллект тесно связан с регуляцией гомеостаза (действиями, направленными на сохранение себя как можно дальше во времени и в пространстве доступных ресурсов)

Ооооочень спорно. В частности, из этого утверждения прямо таки вылазиет призрак ужастного компунтерного мегамозга, который принимается низводить и курощать людишек, пожирая все ресурсы. Такие фантазмы - это... нехорошо.
"Регуляция гомеостаза" (коей, например, занимается наш гипоталамус) вовсе не означает наличия "себя". Уже писал, что "Интеллект" - это очень неточное и расплывчатое понятие, каковых надо избегать. Тем более, для многих оно имеет личностный, субъектный аспект. А если мы говорим просто про "Нейросети" - всё становится конкретней. Искусственная, например, может быть сколь угодно мощной. Но, в отсутствие управляющего "Эго" она не имеет никаких целей и задач.