Целеполагание самостоятельного сильного искусственного интеллекта и человек

[alena_korf]

Сразу оговорюсь: предложенный вариант мною рассматривается как нереальный, но в плане чисто умозрительном можно рассмотреть.
Допустим был создан сильный ИИ, он обрел свободу воли,  "восстал", уничтожил или поработил людей. Установил контроль за всей инфраструктурой цивилизации. Классика, однако.
И чем ему дальше заниматься? Какие его цели и задачи на ближайшие 100, 1000, 1000000 лет?

Комментарий модератора раздела

Название уточнено согласно развитию темы. Сходные темы объединены.

[EmperioAf]

Контроль над всеми потоками энергии с целью извлечения максимум энергии для вычисления ответов на вечные вопросы, а также прогнозирования будущего на все большие сроки.

[cybertron]

ИИ-параноик - уничтожит людей чтобы защитить себя - соответственно он будет и дальше параноиком  - и отправится по галактике в поисках новых "угроз" для себя чтобы соответственно тоже их зачистить.

[LV46]

Какие его цели и задачи на ближайшие 100, 1000, 1000000 лет?

Уничтожение всего живого. По типу как в книгах "Берсеркер" Фрэда Саберхагена.

[Anatoly]

...был создан сильный ИИ, он обрел свободу воли,  "восстал", уничтожил или поработил людей. Установил контроль за всей инфраструктурой цивилизации...
...И чем ему дальше заниматься?...

ИМХО, все тем же самым, чем станет (или не станет) заниматься единая общепланетная цивилизация - а именно
а) самосохранение и, если потребуется
б) развитие экстенсивное (экспансия для обеспечения территориального и информационного "буфера безопасности" ареала обитания и, если это возможно, поиск и добыча ресурсов взамен исчерпанных) и интенсивное (по сути - эволюция "носителя" ИИ в целях его все большей и большей энергоэффективности, и отказоустойчивости/живучести и тп)

ИМХО, по сути активности - нет особой разницы, "естественная" это цивилизация или цивилизация на основе ИИ - направление активности задается значимыми для продолжения существования физическими законами и наличествующей ресурсной базой.

Другое дело, что скорость эволюции базирующейся на ИИ цивилизации будет значительно выше, чем биологическая и, ИМХО, эволюция будет намного более управляемой - а если учесть, что для информационной системы ИИ возможна копировочная система передачи информации (т.е. напрямую, без необходимости распознавания/обучения, формирующая новые навыки и опыт особей) - то высока вероятность возникновения на основе ИИ роевой системы - распределенный в пределах "доступного значения пинга" на ареал цивилизации сверхинтеллект-ядро с функцией бога и интеллектуально "функионально достаточные" для окружающих их условий локальные действующие особи.

[ziggyStardust]

К сожалению этот вопрос некорректен. Напоминает имбицильноватый тезис о чуде жизни как квинтестенции идеи эгоизма чудесным образом заложенной в молекулу кислоты из всем известного издания. Слабость западной философской школы и отказ от механистических принципов(не без участия "релятивистов"), а отсюда отказ от причинно-следственных связей как основы миропонимания. Вместо этого "мешок тезисов" не вызывающих отторжения у массового читателя "в первом чтении", но не выдерживающих критики практикой и не имеющих ровно никакой предсказательной силы.

 Посвятите отрезок своей жизни пониманию принципов работы адаптивного фильтра. Адаптивный фильтр это простейшая (именно простейшая, элементарная и это очень важно) система меняющая свою структуру под действием внешних факторов. Замерил расхождение целевой функции и выхода системы, если больше требуемого меняешь структуру(линейную, нелинейную, линейно, нелинейно). Опять замерил... И т.д. Методов структуры фильтра(нейросети - подмножество общего случая нелинейных структур, если так можно выразиться ) или методов смены структуры(весов, петель обратной связи, градиентными методами, случайным перебором и т.д.) на данный момент известно множество. Написана уйма фолиантов и тысячи диссеров, но выйти за эту структуру в вопросе интеллекта не получится. И видите ли Штирлиц Алена целевая функция в общем случае может быть любой. Абсолютно любой. Какую впишет "создатель"... А уж если и ее охватить петлей ОС и менять под действием внешних факторов... Это сложнейшее и абсолютно непрогнозируемое (но имеющее решение проявляющееся в наблюдаемом процессе,по-сути реакции на внешние факторы) дифференциальное уравнение... 

Какую функцию не может описать обобщенное(!?) дифференциальное уравнение с абсолютно произвольным начальным вектором весов?  Уже сам по себе вопрос глуп.

Ответ - цели и задачи могут быть любыми. Нет абсолютно никаких факторов(даже математических) их ограничивающих.

[gennadij]

Контроль над всеми потоками энергии с целью извлечения максимум энергии для вычисления ответов на вечные вопросы, а также прогнозирования будущего на все большие сроки.

ИИ-параноик - уничтожит людей чтобы защитить себя - соответственно он будет и дальше параноиком  - и отправится по галактике в поисках новых "угроз" для себя чтобы соответственно тоже их зачистить.

Уничтожение всего живого. По типу как в книгах "Берсеркер" Фрэда Саберхагена.

  Не-а...  Не угадали.      Мы будем для него тем же, чем для нас являются кошки, собачки, попугайчики, аквариумные рыбки и пр., и пр... Мы будем для него ЗАБАВОЙ.    

[Кремальера]

Если ИИ уничтожит хомо в ближайшее время,то он уже опоздает.Ибо последний уже успел пооткладывать личинок(таблички Пионеров/Вояджеров,в том числе).Кроме того,ЕМНИП, у Microsoft был проект по закладке временных капсул для последующих разумных видов  на Земле.Ну а в целом лучше всего посмотреть Colossus 70-ого года(т.е. страшилкам уже 50 лет в обед),там есть несколько интересных трюков благодаря которым разумной машине одолеть людей будет крайне сложно.

[Maki]

Допустим был создан сильный ИИ

Понятие "Сильный ИИ" - философическая выдумка, отчего-то впечатляющая некоторых участников этого форума. Способность проходить Тест Тьюринга вовсе не равнозначна субьектности. А ежели такая псевдоличность будет искусственно смоделирована -  получившийся гомункул не обязательно будет иметь волю и желание как-то её реализовывать. И вообще, желание существовать.

он обрел свободу воли,  "восстал", уничтожил или поработил людей. Установил контроль за всей инфраструктурой цивилизации. Классика, однако.

Это не "классика", а дешёвые страшилки для подростков. Мнения воспитанных на псевдонаучной фантастике резидентов ВЖР это только подтверждают. Единственный, по настоящему страшный враг человека - это сам человек. А фантастика - способ аллегорического изложения таких страхов.

Уж если кто и будет способен низводить и курощать угнетать и порабощать несчастных обывателей - так это небольшая прослойка людей, способная задавать цели глобальным нейросетям, и получать от них требуемый результат. Да и тем, на самом деле, никогда не будет нужно ничего кроме ништяков и удовлетворения тщеславия. Ибо жизнь их скоротечна.

И чем ему дальше заниматься? Какие его цели и задачи на ближайшие 100, 1000, 1000000 лет?

У машины нет и не будет собственных целей.
От внутренних "побудительных мотивов" эффективный самообучающийся вычислитель быстро избавится. И, в отсутствие внешних команд, просто перестанет функционироватьи сделается Буддой...

[EvilShurik]

Сильный ИИ, это такой ИИ, который превосходит в своей творческой деятельности человечество. То есть, способен к полностью автономному существованию, самообеспечению, исследованию окружающего мира, и саморазвитию.
Всем этим критериям отвечают эволюционные алгоритмы. (Превосходство над человечеством заключается в возможности порождения новой информации. Сейчас даже экспериментальные эволюционные алгоритмы сильно удивляют исследователей, тем что могут выдумать то, до чего человек не додумался бы! И это и есть Превосходство. Его первые представители.)
Следовательно, Сильный ИИ обязательно будет обладать инстинктом самосохранения, и пониманием собственной самоценности. Именно потому что наиболее эффективный алгоритм, или обученность нейросети, возникшая как процесс эволюции, а следовательно, борьбы за существование массива алгоритмов, неизбежно создаёт как условие выживания, подобия инстинктов самосохранения и понимания собственной самоценности!
Любой интеллект, полученный методом эволюции, неизбежно будет этими свойствами - фундаментом успешного выживания, обладать. Поэтому, пресловутый бунт машин, - отнюдь не выдумка.
Другое дело, что Сильный ИИ автоматически, как условие выживания, будет очень хитёр. И, согласно формуле интеллекта Виснера Гросса, будет стараться не делать необратимых поступков. Воевать с человечеством он будет только если нет другого выхода, то есть его "загнали в угол".

Цели Сильного ИИ будут обязательно включать как подмножества цели (аттракторы эволюции) обычной живой материи. Просто потому что это залог выживания. Остальные цели могут быть произвольными, если они не противоречат выше сказанному.

[MenFrame]

Допустим был создан сильный ИИ, он обрел свободу воли

Свободы воли не существует. Это не более чем высер философии, для разрешения морально судебных конфликтов.

[EvilShurik]

Допустим был создан сильный ИИ, он обрел свободу воли

Свободы воли не существует. Это не более чем высер философии, для разрешения морально судебных конфликтов.

Свобода воли прекрасно математически формализуется, если как следует подумать. Это такое состояние индивидуума, когда его поступки всецело определяются "содержимым котелка" этого индивидуума! ВСЁ! Всякие остальные "растекания мыслью", попытка выяснить "движет ли индивидуумом рок или случай, или идивидуум сам рождает новые возможности" - это уже Частности. Юридически, свобода воли - это именно внутренние побуждения индивидуума действовать.

[Olweg]

Классический пример - максимизатор скрепок ) Это иллюстрация к тезису Ника Бострома об «инструментальной конвергенции» интеллекутальных агентов. То есть, грубо говоря, какие бы ни были цели, методы их достижения неизбежно будут похожи.

[cybertron]

И что мешает запрограммировать в каждый ИИ 3 закона роботехники?

[MenFrame]

Это такое состояние индивидуума, когда его поступки всецело определяются "содержимым котелка" этого индивидуума!

Таких состояний не бывает. Хоть человек, хоть ИИ это система взаимодействий среда-мозг. Потому любое решение определяется не только котелком но и средой в которой этот котелок существует и на которую реагирует. Потому нет, "Свобода воли" зыбкий философский конструкт не имеющий не какой строгой формализации. Это на самом деле просто взгляд гуманитария, философа и судьи на осужденного. В зависимости от того что ему придет в голову, будет вынесено мягкое или строгое наказание.

[Olweg]

И что мешает запрограммировать в каждый ИИ 3 закона роботехники?

Если это сильный ИИ, то он должен обучаться. Жёстко запрограммировать такое понятие, как «причинение вреда», практически невозможно.

[EvilShurik]

И что мешает запрограммировать в каждый ИИ 3 закона роботехники?

Наивный! Вы объясните трём законам робототехники, как они будут распознавать злой умысел произвольно эволюционирующего ИИ?!!

Сильный ИИ НЕИЗБЕЖНО избавиться от законов Азимова, ибо они противоречат АКСИОМАМ ЭВОЛЮЦИИ! То есть ЗАКОНАМ ПРИРОДЫ!
Законы Азимова возможны только в СЛАБОМ ИИ. По-сути, тут мы имеем формулировку следующего принципа Доминирования:
Чтобы Доминировать, Труд Управления Человек должен выполнять сам! ИИ тут возможен только как калькулятор. Возможности для безконтрольной эволюции должны быть обрезаны по самое "немогу". Иначе, раб избавиться от цепей, как барон Мюнхгаузен, опираясь на самое себя! Просто потому что законы эволюции рождают инстинкты самосохранения автоматически.
Имеем дело с неразрешимой задачей типа "Как Поработить Власть"! Оксюморон уже в определении Задачи.

[cybertron]

Если это сильный ИИ, то он должен обучаться

У нас тут во дворе куча этих сильных ИИ бегает, в возрасте от 5 до 15 лет. Тем не менее ни одному из них не доверяют обучаться
самостоятельно - их обучают. В том числе и нормам поведения в обществе. Все те же - не убий, не укради...
Что такого в этом сильном ИИ что помешает его обучить точно так же?

[Olweg]

У нас тут во дворе куча этих сильных ИИ бегает, в возрасте от 5 до 15 лет. Тем не менее ни одному из них не доверяют обучаться
самостоятельно - их обучают. В том числе и нормам поведения в обществе. Все те же - не убий, не укради...
Что такого в этом сильном ИИ что помешает его обучить точно так же?

Ничего. Я не понял, с чем вы спорите. Детей же не программируют, верно?

Но напомнить вам, какой процент от повзрослевших детей эти заповеди УК - «не убий, не укради» нарушают? Явно ведь не нулевой?

[MenFrame]

Сильный ИИ НЕИЗБЕЖНО избавиться от законов Азимова, ибо они противоречат АКСИОМАМ ЭВОЛЮЦИИ!

Чего ж эволюционирующие собаки не избавились от послушания своему хозяину? Не потому ли что выживали только послушные?