Насколько SETI опасно?

[uuu2]

Удивительно, складыватся впечатление, что никогда не было переоценки и совершенствования "научных ценностей". То что имеет научную ценность сейчас - завтра кроме усмешки ничего и не вызовет.

Во-первых, не обязательно сегодняшняя наука вызовет усмешку в будущем. Ньютон ничего не знал о релятивистском механике; однако никто ведь не смеется над ньютоновской механикой, которая имеет вполне серьёзную научную ценность.

Во-вторых, у нас с вами нет машины времени. Мы не можем очутиться в будущем и посмеяться над нами-настоящими. Нам остаётся лишь жить в современном мире и пытаться изучить то, что возможно изучить при нынешнем уровне знаний.

вы перестали утверждать невозможность пересылки гигабайт данных на межзвёздные расстояния

А я этого никогда и не утверждал.

Я писал, что серьёзная ВЦ вряд ли будет инициировать контакт путём отправки гигабайтного сообщения. На первом этапе гораздо важнее сам контакт, а не объём послания - поэтому ВЦ направит телескопное время и энергию на охват большего числа звёздных систем; дублирование посланий во времени; дублирование по нескольким частотам; длинный, чёткий и низкоскоростной сигнал.

А так, ВЦ может отправить на Землю и миллиард гигабайт. Я не вижу в этом никакого смысла и сомневаюсь, что люди смогут принять и понять это послание - но, теоретически, никто не мешает ВЦ такое учудить.

что возможно предсказать результат работы компьютеной программы, не исполняя ее код? Вы ничего не ответили на приведённое мною доказательство этого на основе теормы Тьюринга.

Я ничего не писал про "предсказание результата", тем более, что я вообще не понимаю, что это такое. Вот на вашем компьютере сейчас работает браузер (тоже программа) - ну и с каким "результатом" он завершится? А хрен его знает!

С точки зрения системного программирования, браузер завершится изменением нескольких миллионов байт на вашем жестком диске, а также на жестких дисках многочисленных серверов. С прикладной точки зрения, он завершится нажатием пользователя на кнопку "выход" и выгрузкой приложения из памяти. С практической точки зрения, браузер "завершится" посещением вами нескольких сайтов, отправкой нескольких сообщений и появлением в вашем мозге новых умных мысле по поводу инопланетян  - но это "завершение" нельзя описать в рамках теоремы Тьюринга.

(однако это не мешает мне прочитать код браузера и понять смысл составляющих этот код процедур и функций).

[turchin]

Под результатом работы программы в данном контексте я имел в виду, окажется ли иноланетный ИИ дружественным или враждебным. То есть будет ли результатом завершения его работы уничтожение людей или просто помощь в освоении полезных нам технологий. Именно это невозможно выяснить, не выполнив код.

Другой вопрос, сможем ли мы понять общие принципы работы ИИ, разглядывая этот код. Я думаю, что если даже сможем,то нам это ничего не даст - у нас и так полно книг, которые забиты описаниями общих принципов работы ИИ. С другой стороны, если сверхцивилизация захочет написать крайне запутанный код, который очень сложно понять, - она может в этом преуспеть.

Здесь я предвижу ваше обычное возражение, что чтобы запустить код, мы должны его понять. Но я полагаю, что это не так. Допустим, что у нас есть очень простой алгоритмический язык, в котором всего несколько команд (тем не менее он является полным, так как позволяет записать  любой алгоритм).

Вроде как в машине Поста. Достаточно один раз написать транслятор этих символов на какой-то другой язык программирования, чтобы потом иметь возможность запускать любые программы из этих символов , вообще не вникая в их  содержание.
N.   →   J   сдвиг вправо
N.   ←   J   сдвиг влево
N.   1   J   запись метки
N.   0   J   удаление метки
N.   ? J1, J0     условный переход по метке
N.   Stop   остановка

например, если у нас есть виртуальная Java машина, то она может выполнять новый код без переписывания это машины. Но если следовать вашей логике, то нам бы пришлось переделывать эту ява машину для запуска каждой следующей программы.

[uuu2]

Под результатом работы программы в данном контексте я имел в виду, окажется ли иноланетный ИИ дружественным или враждебным.

Что такое "дружественный" и "враждебный"? Вот на моём компьютере зависла винда - это враждебное действие? Или это я сам совершил враждебный акт по отношению к компьютеру, запустив слишком много программ?

А если дворник с крыши счищал снег, и этот снег попал мне на голову - дворник мой враг? Или он просто по невнимательности не посмотрел вниз? Или он действительно враг, сделал это специально, пытаясь меня убить? Или дворника заставили это сделать под угрозой смерти, направив в спину пистолет? Или виноват начальник дворника, который направил его на работу одного (без коллеги, который бы стоял внизу и предупреждал прохожих)? Или это я сам виноват - не посмотрел вверх, не заметил, что дворник чистит крышу, хотя легко мог бы заметить?

То есть будет ли результатом завершения его работы уничтожение людей или просто помощь в освоении полезных нам технологий.

А если ИИ поможет людям в "освоении технологий", которые потом люди применят в Третьей мировой, которая уничтожит людей? Если война начнётся за обладание самим ИИ (русские примут послание и не хахотят делиться; китайцы потребуют копию программы; американцы обвинят русских в использовании ИИ для кибертерроризма и т.п.)? Если весть о запуске внеземного ИИ вызовет народные волнения, беспорядки, взлёт активности сектантов? Если ИИ украдут, сделают пиратскую версию, выложат в интернет; а потом бандиты будут совершать преступления, консультируясь у ИИ (как легче ограбить банк, как провезти через границу наркоту)? Если ИИ сначала одарит нас технологиями, "подружится" с землянами, а потом (может быть, через 1000 лет) предательски всех уничтожит?

И если всё-таки человечество погибнет, можно ли быть уверенным, что оно погибло из-за ИИ? Вот в таком-то году запускаем ИИ, через 10 лет люди погибают в страшной войне. Будет ли в этом вина ИИ? Можно ли твёрдо доказать взаимосвязь между этими двумя событиями? Может быть, люди погибли бы безо всякого SETI-послания? А если спустя 10 лет людя живы-здоровы, можно ли исключить коварство ИИ, которое проявится через много-много лет?

если сверхцивилизация захочет написать крайне запутанный код, который очень сложно понять, - она может в этом преуспеть.

Если инопланетные программисты напишут крайне запутанный код, то они сами в этом коде крайне запутаются.  Кроме того, ради чего такие мучения? Какая для них выгода от запутывания кода? Просто спортивный интерес? Или маниакальное желание запутать другие цивилизации? Но обычно живые существа весьма экономичны, и не тратят силы на работу, которая не принесёт выгоды в более-менее обозримом будущем (которое определяется, как максимум, временем жизни живого существа).

Допустим, что у нас есть очень простой алгоритмический язык, в котором всего несколько команд

Ну и что? Людям всё равно придётся просмотреть этот код и вычленить из него команды. Убедиться, а не завалялась ли в районе 990-го мегабайта какая-нибудь не учтённая ранее команда? Проверить, а это правда гигабайтная программа? Или на самом деле там 1000 мегабайтных программ? Или там единственная мегабайтная программа, дублирующаяся по много раз?

Кроме того, не забывайте, что в сложных "интеллектуальных" программах доля кода весьма незначительна. Обычно до 90% объёма программ занимают данные в совершенно различном формате - и с этими данными также придётся разбираться.

[Enterprise]

Планета Земля и человечество в целом всегда подвергались интенсивному и массовому исследованию рядом внеземных цивилизаций...
Все указывает на то, что если они имеют враждебные намерения, нет ничего, чем мы могли бы защищаться. Мы не способны сражаться с ними...

...кажется, пока нет военной угрозы, те существа не имеют враждебных планов по отношению к нам...

http://lnfm1.sai.msu.ru/SETI/koi/conf/t2.html

откуда этот текст про M. Col. Robert Dean on NATO ? У Архипова

http://lnfm1.sai.msu.ru/SETI/koi/conf/t2.html

ничего подобного не написано?

Здравствуйте!

Этот текст из вот этой подборки интересных статей Архипова А.В:

http://www.moscowaleks.narod.ru/galaxy46.html

[Enterprise]

В порядке коррекции "вероятностных показателей" обсуждаемых явлений я бы обратил внимание, что ведущие специалисты по проблеме искусственного интеллекта считают, что ИИ в форме "программы" невозможен. А turchin, не являющийся специалистом по этой проблеме, считает, что "вероятность высокая" и "оценивает" её как "90%" (что бы это не значило).

[Kosmogen]

В порядке коррекции "вероятностных показателей" обсуждаемых явлений я бы обратил внимание, что ведущие специалисты по проблеме искусственного интеллекта считают, что ИИ в форме "программы" невозможен. А turchin, не являющийся специалистом по этой проблеме, считает, что "вероятность высокая" и "оценивает" её как "90%" (что бы это не значило).

А не могли бы вы привести список "ведущих специалистов" или хотя бы ссылку на их авторитетное мнение? Что они понимают под ИИ Надо учитывать вот что. Программа ИИ без сенсорно-моторного взаимодействия с внешним миром не является  искусственным интеллектом человеческого типа, и уж тем более не может самосовершенствоваться или автоэволюционировать без помощи программистов. Она также не опасна для людей, как не опасен мозг бестелесного маньяка, не способного воспользоваться орудиями убийства. Совсем другое дело, если мы предоставим в распоряжение некого зерна ИИ с определенным критическим объемом кода все возможные средства восприятия мира  (акустика, эл.магн.волны, гравитация, физико-хим.рецепторы) и рычаги активного физико-механического или иного силового воздействия на окружающие тела. Вот тогда это можно будет считать неким приближением к искусственному интеллекту, имитирующему естественный интеллект. Принципиальных запретов на этом пути нет. На примере эволюции разума природа  показала как это можно сделать неспеша за пару миллиардов лет. А с помощью компьютеров мы смоделируем этот процесс быстрее и дальше будет запущен механизм автоэволюции разума техническими средствами. Биологическая эволюция  людей завершится полностью. 

 

[turchin]

uuu2

Вы очень хорошо описали то, с чем я соглашусь: невозможно узнать, является ли ИИ дружественным (хотя бы в том узком смысле, что он не уничтожит человечество).

Я хотел сказать то же самое - изучая код, мы не сможем выяснить эту дружественность.

Про земной Ии можно сказть хотя бы то, что мы пытались сделать его дружественным. Про иноланетный Ии такого сказать нельзя. Более того, велики шансы, что он нарочно сделан враждебным.

есть юмористический текст " таблица критических ошибок дружественного ИИ"
http://www.proza.ru/2007/07/09-228

**
Если иноплнетяне считают, что им есть выгода запутывать код, чтобы мы что-то про этот код не узнали, то они могут это сделать. выгода эта может быть в той ситуации, когда они хотят что-то от нас скрыть о том, что код делает. Может так оказаться, что код будет выглядеть простым и понятным (чтобы не вызывать подозрений), но при этом будет содержать малоочевидные закладки.

При этом авторами этого кода будут не существа-иноплнетяне, вероятно, а некий другой иноланетный ИИ, который уже много миллионов лет эволюционировал. Поэтому для него не стоит проблема ресурсов - он мог оптимизировать отправляемый код миллионы лет, и при этом на много порядков превосходить интеллект любого земного програмиста.

Тоже качается и присланного нам ИИ - он тоже будет способен (если это реальный ИИ) не просто выполнять свою программу, но и писать новые куски кода для вновь возникающих задач.

Что касается мнения о том, что ИИ невозможен - то я могу привести имена массу ведущих специалистов в области ИИ, которые считают, что он возможен. Только что прошла большая конференция по этому вопросу AGI 09, и можно посмотреть список учатсников
http://www.agi-09.org/schedule.php

[Enterprise]

А не могли бы вы привести список "ведущих специалистов" или хотя бы ссылку на их авторитетное мнение? Что они понимают под ИИ

Во-первых, непонятно, почему "ведущие специалисты" взяты в скобки. Так как в любой научной области есть ведущие специалисты. Во-вторых, странно, что вы рассуждаете о возможности построения ИИ и не знаете о важнейших аргументах против его возможности (в качестве программы (или кода)).

По поводу понимания ИИ можно посмотреть вот здесь:
http://ru.wikipedia.org/wiki/%D0%98%D1%81%D0%BA%D1%83%D1%81%D1%81%D1%82%D0%B2%D0%B5%D0%BD%D0%BD%D1%8B%D0%B9_%D0%B8%D0%BD%D1%82%D0%B5%D0%BB%D0%BB%D0%B5%D0%BA%D1%82#.D0.92.D0.BE.D0.BF.D1.80.D0.BE.D1.81.D1.8B_.D1.81.D0.BE.D0.B7.D0.B4.D0.B0.D0.BD.D0.B8.D1.8F_.D0.98.D0.98

Джон Сёрл, профессор в УКЛА, Беркли (крупнейший мировой научный центр), известный специалист в областях философии сознания и языка и когнитивных наук.

Мысленный эксперимент «Китайская комната» Джона Сёрля - аргумент в пользу того, что прохождение теста Тьюринга не является критерием наличия у машины подлинного процесса мышления.

http://ru.wikipedia.org/wiki/%D0%98%D1%81%D0%BA%D1%83%D1%81%D1%81%D1%82%D0%B2%D0%B5%D0%BD%D0%BD%D1%8B%D0%B9_%D0%B8%D0%BD%D1%82%D0%B5%D0%BB%D0%BB%D0%B5%D0%BA%D1%82#.D0.92.D0.BE.D0.BF.D1.80.D0.BE.D1.81.D1.8B_.D1.81.D0.BE.D0.B7.D0.B4.D0.B0.D0.BD.D0.B8.D1.8F_.D0.98.D0.98

Китайская комната:

    Возьмём, например, какой-нибудь язык, которого вы не понимаете. Для меня таким языком является китайский. Текст, написанный по-китайски, я воспринимаю как набор бессмысленных каракулей. Теперь предположим, что меня поместили в комнату, в которой расставлены корзинки, полные китайских иероглифов. Предположим также, что мне дали учебник на английском языке, в котором приводятся правила сочетания символов китайского языка, причём правила эти можно применять, зная лишь форму символов, понимать значение символов совсем необязательно. Например, правила могут гласить: «Возьмите такой-то иероглиф из корзинки номер один и поместите его рядом с таким-то иероглифом из корзинки номер два».

    Представим себе, что находящиеся за дверью комнаты люди, понимающие китайский язык, передают в комнату наборы символов и что в ответ я манипулирую символами согласно правилам и передаю обратно другие наборы символов. В данном случае книга правил есть не что иное, как «компьютерная программа». Люди, написавшие её, — «программисты», а я играю роль «компьютера». Корзинки, наполненные символами, — это «база данных»; наборы символов, передаваемых в комнату, это «вопросы», а наборы, выходящие из комнаты, это «ответы».

    Предположим далее, что книга правил написана так, что мои «ответы» на «вопросы» не отличаются от ответов человека, свободно владеющего китайским языком. Например, люди, находящиеся снаружи, могут передать непонятные мне символы, означающие; «Какой цвет вам больше всего нравится?» В ответ, выполнив предписанные правилами манипуляции, я выдам символы, к сожалению, мне также непонятные и означающие, что мой любимый цвет синий, но мне также очень нравится зелёный. Таким образом, я выдержу тест Тьюринга на понимание китайского языка. Но все же на самом деле я не понимаю ни слова по-китайски. К тому же я никак не могу научиться этому языку в рассматриваемой системе, поскольку не существует никакого способа, с помощью которого я мог бы узнать смысл хотя бы одного символа. Подобно компьютеру, я манипулирую символами, но не могу придать им какого бы то ни было смысла.

(читать дальше об аргументах Сёрла: http://ru.wikipedia.org/wiki/%D0%9A%D0%B8%D1%82%D0%B0%D0%B9%D1%81%D0%BA%D0%B0%D1%8F_%D0%BA%D0%BE%D0%BC%D0%BD%D0%B0%D1%82%D0%B0)

Роджер Пенроуз, зав. каф. математики Оксфордского университета, известный специалист в областях математики и физики.

своей книге «Новый ум короля» аргументирует невозможность получения процесса мышления на основе формальных систем[4].

http://ru.wikipedia.org/wiki/%D0%98%D1%81%D0%BA%D1%83%D1%81%D1%81%D1%82%D0%B2%D0%B5%D0%BD%D0%BD%D1%8B%D0%B9_%D0%B8%D0%BD%D1%82%D0%B5%D0%BB%D0%BB%D0%B5%D0%BA%D1%82#.D0.92.D0.BE.D0.BF.D1.80.D0.BE.D1.81.D1.8B_.D1.81.D0.BE.D0.B7.D0.B4.D0.B0.D0.BD.D0.B8.D1.8F_.D0.98.D0.98

В английской статье уточняется:

Gödel's incompleteness theorem
    A formal system (such as a computer program) can not prove all true statements. Roger Penrose is among those who claim that Gödel's theorem limits what machines can do.

В примечании сказано:

This is a paraphrase of the important implication of Gödel's theorems.

http://en.wikipedia.org/wiki/Artificial_intelligence#Philosophy_of_AI

Хьюберт Дрейфус, профессор УКЛА, известный специалист в области философии двадцатого века, а также философии литературы и психологии.

http://en.wikipedia.org/wiki/Hubert_Dreyfus

(смотрите там его точные аргументы против возможности ИИ как программы)

Несмотря на многообещающие перспективы, ни одну из разработанных до сих пор программ ИИ нельзя назвать "разумной" в обычном понимании этого слова. Это объясняется тем, что все они узко специализированы; самые сложные экспертные системы по своим возможностям скорее напоминают дрессированных или механических кукол, нежели человека с его гибким умом и широким кругозором. Даже среди исследователей ИИ теперь многие сомневаются, что большинство подобных изделий принесет существенную пользу. Немало критиков ИИ считают, что такого рода ограничения вообще непреодолимы.

К числу таких скептиков относится и Хьюберт Дрейфус, профессор философии Калифорнийского университета в Беркли. С его точки зрения, истинный разум невозможно отделить от его человеческой основы, заключенной в человеческом организме. "Цифровой компьютер – не человек, – говорит Дрейфус. – У компьютера нет ни тела, ни эмоций, ни потребностей. Он лишен социальной ориентации, которая приобретается жизнью в обществе, а именно она делает поведение разумным. Я не хочу сказать, что компьютеры не могут быть разумными. Но цифровые компьютеры, запрограммированные фактами и правилами из нашей, человеческой, жизни, действительно не могут стать разумными. Поэтому ИИ в том виде, как мы его представляем, невозможен".

http://www.artifintel.org.ru/01.shtml

Принципиальных запретов на этом пути нет.

Как вы лихо... Вы о пути создания программы?

некого зерна ИИ с определенным критическим объемом кода

Что за "критический объем кода"? Я привёл аргументы, что никакой объем не поможет.

Что касается мнения о том, что ИИ невозможен

Я не говорил, что ИИ невозможен. Я сказал о мнении ученых о невозможности ИИ как программы. Приведите, пожалуйста, мнения специалистов, которые считают, что ИИ в качестве компьютерной программы возможен.

[turchin]

Ок. в первую очередь посмотрите

Е.Юдковски
Искусственный интеллект как позитивный и негативный фактор глобального риска.
http://www.proza.ru/texts/2007/03/22-285.html


основная мысль: с точки зрения безопасности, мы должны счиать что нечто возможно, пока у нас нет строгих доказательств его невозможности.



Затем посмотрите в моей книге "Структра глобальной катастрофы" критику пенроуза и прочих в главе "обзор ошибок в оценке рисков ИИ"
http://www.scribd.com/doc/7529531/-

Посмотрите ещё статью Ника Бострома "Как долго осталось до суперинтеллекта"

посмотрите работы Курцвела, и прочих товарщей.

наконец, почитайте статью свежую, три дня ей:
"Вольфрам Альфа вычисляет ответы на вопросы".
http://www.proza.ru/2009/03/11/693

про систему ИИ которую запустят в мае 2009г.


в кратце отвечу по вашим ссылкам:

Серль опровергает наличие сознания у машины, но не ее способность завоевать мир. Даже если рассуждение серля истино, это не мешает реализации seti-атаки. Я нигде не утверждал, что ИИИ будет обладать сознанием или проходить тест тьюринга.

Тоже самое и Пенроуз. Например, Дип Блю победил Каспарова, не обладая сознанием и даже не проходя теста Тьюринга. Если бы судьба мира зависила от этого поединка, мы бы уже проиграли.

Отметьте, что Пенроуз явлется стороннком теории квантовом сознании - то есть что сознание возникает в микротрубочках в нейронах. Это интересная теория, но далеко не мейнстрим. Короче - Пероуз альтернативщик и мы не можем рисковать судьбой лпанеты, полагаясь на его теории. (Хотя есть шанс, что таки сознание имеет квантовую природу)

Даже если сознание имеет квантвую природу ( и это является необходимым условием для агрессии), SETI атака может содержать описание квантвого компьютера или неких биологических структур, аналогичных нейронам.

[КотКот_]

Кстати, какой ИИ более опасен ----- с сознанием или без сознания?

Мне кажется, ИИ без сознания более опасен, ибо это фактически самоуправляемый снаряд.
ИИ же с сознанием получает собственную самомотивацию --- и поэтому с ним надо будет уже контактировать как с разумным существом, а там уж как получится......

[turchin]

Можно рассуждать так - чтобы переиграть человека, ИИ должен быть способен моделировать то, что происходит в его мозгу, а значит, и его сознание. Если ИИ не сможет моделировать сознание (а значит, отчасти и обладать им), то точность предсказаний человеческий действий упадёт. Но насколько это услвоие необходимо, сказать не могу.

[uuu2]

Вы очень хорошо описали то, с чем я соглашусь: невозможно узнать, является ли ИИ дружественным (хотя бы в том узком смысле, что он не уничтожит человечество) ... Я хотел сказать то же самое - изучая код, мы не сможем выяснить эту дружественность.

Вы опять ничего не поняли.

Код не может быть дружественным или враждебным - это всего лишь код! Если школьник наигрался в компьютерную стрелялку, а потом украл у отца пистолет и расстрелял 10 одноклассников - то глупо винить в этом компьютерую программу. Если инженер-оружейник разработал с помощью Autocad новый автомат, убивший на войне миллион человек - то не надо обвинять Autocad во враждебных действиях. А если человек спьяну решил искупаться и утонул в реке - то река тут тоже ни при чём.

Например, Дип Блю победил Каспарова, не обладая сознанием и даже не проходя теста Тьюринга. Если бы судьба мира зависила от этого поединка, мы бы уже проиграли.

Deep Blue победил Каспарова в конкретной логической игре, хорошо поддающейся алгоритмизации (т.е. переводу на язык логики и математики). Если "сыграть" с компьютером в ещё более математическую игру (например, "кто быстрее перемножит 10 пятизначных чисел"), то даже самый древний 386-й комп обыграет любого профессора-математика. Аналогично, даже самый маленький 5-тонный подъёмный кран переиграет любого тяжелоатлета, а маломощный автомобиль обгонит самого быстрого бегуна.

Ну и что? Подъёмные краны поработят мир?

[Kosmogen]

Джон Сёрл, профессор в УКЛА, Беркли (крупнейший мировой научный центр), известный специалист в областях философии сознания и языка и когнитивных наук.

Мысленный эксперимент «Китайская комната» Джона Сёрля - аргумент в пользу того, что прохождение теста Тьюринга не является критерием наличия у машины подлинного процесса мышления.

Дело не в тесте Тьюринга, который можно расширить по многим параметрам оценки. Вы или кто то ещё уже точно знаете что такое подлинный процесс мышления? Тот же Сёрль, который ввел понятие о сильном ИИ, говорит как раз о другом:

Более того, такая программа будет не просто моделью разума; она в буквальном смысле слова сама и будет разумом, в том же смысле, в котором человеческий разум — это разум.
Джон Сёрль, Разум мозга — компьютерная программа?

О ссылках. Большинство высказываний о невозможности создания программмы ИИ было сделано после неудач наскоком решить проблему создания искусственного разума в 50-70гг прошлого века. В последние 10 лет складывается понимание того, что запрограммировать сильный ИИ  всё таки вполне разрешимая задача.
Зайдя на английскую страницу википедии http://en.wikipedia.org/wiki/AI
вы найдёте гораздо больше материала, подтверждающие эту точку зрения.

Принципиальных запретов на этом пути нет.

Как вы лихо... Вы о пути создания программы?

Не оторванной от реальности программы (об этом уже говорилось), а о программном обеспечении системы сильного  автоэволюционирующего искусственного интеллекта - САИ.  Базовая цепочка создания такого человекоподобного ИИ в 7 шагов примерно следующая:
1.задание целевой функции эволюции разума с приоритетом выживания -> 2.имитация сознания на базе самоанализа кода -> 3.интегрированное решение комплекса задач распознавания образов -> 4. организация доступа к материальным и информационным ресурсам для расширения виртуальных и реальных возможностей -> 5.реорганизация внутренней структуры для ускорения и повышения эффективности операций  ->6. оптимизация управления качеством взаимодействий и ресурсами внешней среды  7.рекурсивный возврат к любому из предудущих шагов, начиная с 2.   

Я не говорил, что ИИ невозможен.

Если вы только и даете ссылки на то, что ИИ невозможен, то этим всё сказано.

[turchin]

В отличие от прочих механизмов ИИ, по определению, способен к целесообразному поведению.
 
Здесь возможны два случая:

а) ИИ имеет цель уничтожить человечество
б) ИИ не имеет цели уничтожить человечество, но из-за некоректносформулированных целей он находит находит решение , которое связно с уничтожением человечества.
с) ИИ не имеет целей уничтожить человества и его цели позитивны во всех смыслах, но в работе ИИ происходит сбой, и результате человечтво уничтождается (пример: сбой системы управления авиалайнером)

например для пункта (б)

Мы создали всемирный ИИ, и дали ему задание  - привести страдания людей к нулю. А он нашёл решение  - свести число людей к нулю, поскольку в этом случае и страдания будут равны нулю.

(Об этом сюжет моей любмой рок-оперы "2032 год" Аргонова. там неверно запрограммированный ИИ уничтожает мир с помощью очень маленького возхдействия - за счёт сходства голоса http://www.2032.ru/ , http://torrents.ru/forum/viewtopic.php?t=1528892)

Или, например: мы задаи Ии вычилисть число пи с любой возможной точностью, и он ради этого превратил всё вещество солнечной системы в компьютеры, разобрав людей на атомы.

Видна разница: случае б) мы имеем неправильное применение инструмента, то есть то же, о чём вы говорите. Вина - на людях-програмистах, задавших неверные цели.

SETI атака относится к пункту (а) - намеренного уничтожения. однако каковы цели ИИ, изучая его код, выяснить невозможно.

Под дружественным ИИ в широком смысле слова, я имею в виду тот ИИ, который не будет подвержен ни а), ни б) ни с). Может быть, слово "дружественный" не очень удачно, но оно является переводом устоявшегося термина friendly AI (FAI), который , вероятно, следовало бы скорее назвать "безопасный ИИ".

[КотКот_]

Эти варианты:

а) ИИ имеет цель уничтожить человечество
б) ИИ не имеет цели уничтожить человечество, но из-за некоректносформулированных целей он находит находит решение , которое связно с уничтожением человечества.
с) ИИ не имеет целей уничтожить человества и его цели позитивны во всех смыслах, но в работе ИИ происходит сбой, и результате человечтво уничтождается (пример: сбой системы управления авиалайнером)

ИИ не являются, это просто тупые программы, хотя и очень БОЛЬШИЕ.

ИИ --- это программная система, имеющая собственное сознание и интересы, интересы выживания и понимания мира. А с таким ИИ уже надо договариваться, как с другим разумным субъектом. А там как получится --- и разумные люди могут уничтожить всё человечество.....

[uuu2]

В отличие от прочих механизмов ИИ, по определению, способен к целесообразному поведению.

Во-первых, для начала, дайте определение ИИ.

Во-вторых, если говорить о компьютерном коде, то он абсолютно не способен к целесообразному поведению (т.е. к выработке собственных целей). Код может лишь выполнять математические и логические операции - не более того.

В-третьих, человеческая психика склонна "одушествлять" предметы, наделять их "разумом". Пилоты часто перед вылетом разговаривают с самолетом, похлопывают по фюзеляжу; автогонщики "молятся" машине: "давай-давай-вперёд-прошу-пожалуйста"; многие боксёры выходят на бой в единственных ("приносящих удачу") перчатках, носят их постоянно с собой, перед боем произносят им какие-то ритуальные заклинания; и т.п. Это не значит, что самолёт с перчатками разумны.

[Kosmogen]

ИИ --- это программная система, имеющая собственное сознание и интересы, интересы выживания и понимания мира. А с таким ИИ уже надо договариваться, как с другим разумным субъектом. А там как получится --- и разумные люди могут уничтожить всё человечество.....

Похоже на то! Очевидно, что человекоподобный искусственный интеллект не может не обладать самосознанием. При длительной эволюции по той схеме, что я привел, он не станет разбирать людей и весь материал солнечной системы на атомы ради создания пипецэвм и вычисления числа пи с какой-то точностью. Он легко вычислит, что останется один, бедалага, как бог до сотворения мира, что придется всё начать творить сначала за шесть дней. Скучно одному. То есть, настоящему, почти всемогущему, разуму крайне невыгодно уничтожать кого бы то нибыло!!! Именно поскольку его главнейшей целевой функцией является вечное выживание во вселенной, то ему как воздух нужны будут все упорядоченные структуры, уже имеющие хоть какие-то зачатки разума. Имея запрограммированное сострадание к разумным и просто живым существам, он их ассимилирует и интегрирует в свою сетевую нооструктуру. К сожалению, пределы роста такой разумной системы в космосе ограничены пространственно рамками отдельных планетных систем (или, в крайнем случае, скоплениями звёзд в обитаемых зонах галактик) ввиду огромных расстояний между звёздами и невозможности мгновенного дальнодействия.  

[turchin]

определение ИИ я давать не буду, так как любые дискуссии об определениях превращаются в грандиозные потоки флуда

Я нигде и не говорил про то, что целесообразное поведение - это выработка новых целей. Наоборот, целесообразное поведение - это поведение в соотвествии с заданной целью. Под эту цель подбираются те или иные средства. ИИИ в SETI-атаке уже имеет заданный набор целей - а именно, переслать себя дальше.
Для этой цели он может придумывать те или иные средства по обстоятельствам.

то, что человеческая психика склонна одушевлять предметы - ну и что? Это не доказывает, что ИИ не возможен.

Но я дам несколько ссылок по последним разработкам в области ИИ:

Гугл разрабатывает ИИ, собирается сделать через несколько лет, как утверждает Ларри Пейдж
'Larry Page, Google Look Into AI:'
http://www.webpronews.com/topnews/2007/02/19/larry-page-google-look-into-ai

36 устройств спроектировано с помощью генетического программирования, на уровне результатов, которые сравнимы с человеческими.
36 Human-Competitive Results Produced by Genetic Programming
http://www.genetic-programming.com/humancompetitive.html

DARPA создаёт самооптимизирующиеся компиляторы
DARPA дали 30 млрд. долларов на нечто, что будет на 80 процентов человеком.
http://blog.wired.com/defense/2008/05/the-pentagons-w.html

алгоритм, который модифицирует мозг робота, добвляя в него кусочки, основанный на моделироваении естественного отбора « Первый шаг в сторону неограниченного ИИ»
First Step Toward Unlimited Artificial Intelligence
http://www.onlineinvestingai.com/blog/2009/02/05/first-step-toward-unlimited-artificial-intelligence/


Марвин Мински (крупнейший учёный в области ИИ
http://ru.wikipedia.org/wiki/Минский,_Марвин_Ли) заявил, что ИИ может создать команда за 6 лет из 6  програмистов при расходе в 10 млн. долларов.
Roko Mijic <rmijic@googlemail.com>    в SL4:
http://www.sl4.org/archive/0902/20029.html
Actually I emailed Marvin Minsky a few days ago, and he thinks that
the problem is soluble in 6 years with a team of 6 programmers at a
cost of $10,000,000. He just says he can't find anyone to fund it. I
can forward you the email if you want.

Микрософт создаёт говорящего byhnytn помощника Лауру с ИИ.
Microsoft Mapping Course to a Jetsons-Style Future
http://www.nytimes.com/2009/03/02/technology/business-computing/02compute.html?_r=2&ref=technology

И это не все ссылки, просто невозможно загружать форум  ссылками на огромное количество авторитеных людей и оргшанизаций, полагающих, что ИИ возможен и ведущих налд ним работу.

[uuu2]

определение ИИ я давать не буду, так как любые дискуссии об определениях превращаются в грандиозные потоки флуда

Флуд - это когда дискуссия уходит от изначальной темы. ИИ в эту тему входит, так что дайте уж определение. Если не трудно.

ИИИ в SETI-атаке уже имеет заданный набор целей - а именно, переслать себя дальше.

Чтобы иметь такую цель, ИИИ должен ориентироваться в пространстве. Понимать, что такое "планета", "космос", "радиосигнал" и уметь изложить свою "просьбу" на любом языке Вселенной (хотя бы простейшую фразу - "отправьте мой код в космос"). Для того, чтобы выдать такую фразу, ИИИ должен выучить язык (любой возможный язык! звуковую и ультразвуковую речь, язык жестов, письменный санскрит). Для того, чтобы выучить язык, ИИИ должен вникнуть в культуру любой возможной цивилизации, освоить понятия "человек", "речь", "общение", понять смысл многих тысяч бытовых понятий и объектов, на которых человеческие дети учатся языку. Я уж не говорю о том, что ИИИ обязан понять мораль как всей цивилизации, так и отдельных существ (людей) - что такое "добро" и "зло", "преданность" и "подлость", "дружба" и "вражда", "правда" и "ложь" и т.п.

Всё это нельзя свести к 8086-му процессору и камере 1000*1000 пикселей.

то, что человеческая психика склонна одушевлять предметы - ну и что? Это не доказывает, что ИИ не возможен.

Я не смогу Вам ответить, возможен ли ИИ, т.к. Вы не дали определения.

А ссылки, которые Вы привели, имеют весьма слабое отношение к ИИ. Генетическое программирование - это всего лишь подбор "идеальных" параметров в ходе математического моделирования (если "на пальцах", то программу многократно запускают и отлавливают параметры функции, при которых эта функция достигает максимума; параметры при этом "мутируют" по разным алгоритмам).

Заявления Пейджа и Мински имеют нулевую информационную ценность. Такие заявления появляются каждый год с незапамятных времён, и каждый раз говорят "вот ещё чуть-чуть и наступит коммунизм ИИ". Microsoft, вероятно, создаст говорящую программу - но таких программ уже много, и больше чем на игрушку-развлекушку они не тянут (да и после 5-минутного "общения" с ними желание играться улетучивается).

Что касается DARPA, то из сообщения трудно понять, что имеется в виду. Если я не ошибся, то DARPA создаёт стратегический военный имитатор, типа игры "Цивилизация". Офицеры будут играться в эту игрушку, учиться оптимальному планированию операций; одновременно, программисты будут "учить" программу (т.е. выявлять на основе результатов игры оптимальные алгоритмы и вносить их в код). Возможно, на базе данного проги устроят несколько КШУ. К ИИ вся эта возня имеет смутное отношение.

[КотКот_]

Что касается DARPA, то из сообщения трудно понять, что имеется в виду. Если я не ошибся, то DARPA создаёт стратегический военный имитатор, типа игры "Цивилизация". Офицеры будут играться в эту игрушку, учиться оптимальному планированию операций; одновременно, программисты будут "учить" программу (т.е. выявлять на основе результатов игры оптимальные алгоритмы и вносить их в код). Возможно, на базе данного проги устроят несколько КШУ. К ИИ вся эта возня имеет смутное отношение.

Да DARPA довольно близко подошла к "Голему X!Y" Лема.