Насколько SETI опасно?

[Blic]

Смысл общения 2 или более цивилизаций, ну в таком случае, а смысл общения 2 странн... каждая страна в общем то может и друг без друга прожить (ну хотя бы большие страны, как страны европы, США, Китай и Россия) но тем не менее мы же поддерживаем кантакты!

[MARY]

Смысл общения 2 или более цивилизаций, ну в таком случае, а смысл общения 2 странн... каждая страна в общем то может и друг без друга прожить (ну хотя бы большие страны, как страны европы, США, Китай и Россия) но тем не менее мы же поддерживаем кантакты!

Если люди друг с другом не в состоянии договоритья и прийти к мнению, устраивающему обе стороны, то как вы себе приедставляете общение слишком по-разному устроенных разумных существ?

[wanderer]

да.

просто то, что в начале ведёт себя как вирус, потом может развернуться в ИИ. то есть методы проникновения похожи на вирусные, а дальше - нет.

Ну так давайте определимся. Опасен инопланетный вирус или инопланетный ИИ?

И вдогонку. Инопланетный ИИ не может проникнуть как вирус. Его нужно будет запустить и обучить.

[Blic]

Смысл общения 2 или более цивилизаций, ну в таком случае, а смысл общения 2 странн... каждая страна в общем то может и друг без друга прожить (ну хотя бы большие страны, как страны европы, США, Китай и Россия) но тем не менее мы же поддерживаем кантакты!

Если люди друг с другом не в состоянии договоритья и прийти к мнению, устраивающему обе стороны, то как вы себе приедставляете общение слишком по-разному устроенных разумных существ?

Уточню, не люди, а государства.. у меня есть знакомые разных национальностей и разных вероисповеданий и мы с ними отлично ладим, а все трения возникают потому, что кто-то просто на этом зарабатывает деньги или же делает карьеру!

[turchin]

wanderer - как бы не запутаться в определениях.

Я полагаю, что опасна инопланетная программа, способная к самокопированию и самообучению. Кроме того, перед этой программой должна быть некая наживка, которая побудит людей запустить эту программу или, что менее вероятно, сама взломает принимающие компьютеры. После того, как наживка сработает, она может уже не копироваться.(до тех пор, пока земля не станет очередным передатчиком этого сообщения) Например, вы (в реальности, на земле) получаете е-майл с предложением открыть некий док-файл с поздравлениями. Это предложение - это наживка, а тело вируса находится в макросе в файле. Однако в случае инопланетного кода, опасно не то, что он будет копироваться по интернету - таких вирусов у нас своих пруд пруди, а то, что он, обосновавшись на некотором компьютере, начнёт незаметно самообучаться. (А может быть, суть наживки будет такова, что люди сами начнут его обучать.)
Только после того, как он подчинит себе всю землю и построит гигантские передающие антены, он опять проявит себя как вирус - то есть станет рассылать по космосу миллиарды своих копий.


Вика, мне жаль вас огорчать, и я ценю вашу беззаветную преданность далёким планетам. Но вот если вам в реальности попадается некий человек, который с шансами 50 на 50 ли подарит вам букет цветов или совершит акт агрессии - стоит ли к нему подходить?

[wanderer]

turchin - допустим, что Чужие передали нам схему простой машины Поста (или аналогичной). допустим, что ИИ действительно можно создать и они это сделали. допустим они передали нам программу ИИ и мы её запустили на этой машине.
Ну и что? Машина Поста - это всего навсего конечный автомат. Программа ИИ будет крутится на виртуальном процессоре и будет находится в "темной комнате". Ведь он не знаком ни с переферийными устройствами, ни с сетевыми протоколами. Тем более у машины Поста есть только простейшее устройство ввода-вывода -- перфолента. Он будет слеп и глух.

[vika vorobyeva]

Вика, мне жаль вас огорчать, и я ценю вашу беззаветную преданность далёким планетам. Но вот если вам в реальности попадается некий человек, который с шансами 50 на 50 ли подарит вам букет цветов или совершит акт агрессии - стоит ли к нему подходить?

Вы имеете в виду, что вероятность встретить дружественную цивилизацию равна вероятности встретить враждебную?

А я на это отвечу, что развитые цивилизации и без SETI прекрасно о нас знают, а неразвитые нам не опасны, какими бы кровожадными они не были  

[turchin]

wanderer - прочитайте статью "ии как фактор глобального риска", где этот вопрос в деталях обсуждается, плз.т
Вывод в том, что невозможно запереть враждебно настроенный ум, в миллионы раз превосходящий человеческий. Потому что он может обмануть или найти лазейку. Пример обмана: сделка. Он предлагает реализовать некие новые технические возможности, но для этого просит предоставить доступ в сеть или переферийные устройства.

Второе обстоятельство - это многократность процесса. то есть если одна группа людей будет достаточно благоразумна, чтобы очень хорошо запереть ИИ в ящике и не считывать никаких результатов его работы и не вводить в него никакие данные, то другая может придерживаться менее строгих станадратов безопсности или быть эгоистичнее.

третьее - два дня назад тот же вопрос обусждался применительно к земному ИИ и запиранию его в чёрном ящике в английском форуме SL4, позволю себе большую цитату оттуда:

This increases the minimum competency of the AI, but isn't obviously
enough to make the problem impossible.  For example,

(1) the AI might be able to  infer the existence of humans from the
problem specification and its source code (consider:  how many bits of
information are fed to the AI by its input and its code?).

(2a) the AI may be able to output through multiple channels, e.g.
shuffle bits around to generate EM waves which induce a current in you
cellphone which...  Or perhaps the sandbox is insecure, and the AI can
connect to the internet or hide code elsewhere in the machine e.g.
overwrite the firmware.
(2b) or, if the AI is being run multiple times it may be able to infer
this and cooperate with its later executions somehow,
(2c) or, it works out human psychology sufficiently so as to write the
magic symbol/paragraph which both looks like a solution and makes the
reader really want to connect the AI's box to the internet
(2d) or, the programmers (predictably) peek at the AI's memory, or
find they need to run an interactive process to get real results.

I don't know whether any of these ideas actually work, but it seems
like something may well work.  It is not too hard to generate a lot of
potential vulnerabilities like this.  In general you can try to patch
against each of these, but without a more rigorous method you can't
patch against all possible holes.

Вика - не вероятность встретить, а наши ожидания этого. может быть, все цивилизации дружественны, может быть все они враждебны. В конце концов, что такое враждебность? Это хорошо обсуждается в "Волны гасят ветер" Стругацких насчёт темы прогрессорства. Может быть такая иноплнетная дружественность, что уж лучше бы вражденость была - она понятнее.

То есть вы отождествляете сверхразум и доброту цивилизации. Я же предлагаю не отождествалть, а рассматривать независимо.

Тогда это неизвестный фактор и ему можно преписать субъективную вероятьность 50 на 50.

[vika vorobyeva]

То есть вы отождествляете сверхразум и доброту цивилизации. Я же предлагаю не отождествалть, а рассматривать независимо.

Хочется все же внести ясность и донести до Вас свою позицию

Я НЕ отождествляю сверхразум и доброту. Как Вы справедливо заметили, из одного отнюдь не следует другое. Кроме того, по отношению друг к другу представители сверхразумной цивилизации могут быть чрезвычайно гуманны, что не помешает им вынести нас, даже не заметив. Например, аналогично тому, как люди затопили сколько-то там муравейников, делая водохранилище под крупную ГЭС.

Я говорю о другом. О том, что ПРОГРАММА SETI ничего не прибавит и не убавит к нашей уязвимости. Что цивилизации, способные нас уничтожить, давно о нас знают НЕЗАВИСИМО от SETI. И только
Иначе говоря - да, нас МОГУТ уничтожить. Но не потому, что мы занимаемся программой SETI

[turchin]

Вика, ваше предположение верно, если считать, что сверхцивилизации находятся недалеко от нас или обладают способностью перемещаться со скоростью больше световой. если это не так, и ближайшая сверх цивилизация - в Андромеде, то они не знают о нашему существовании, просто потому что сигнал о нас до них ещё не дошёл. Именно в этом случае посылание радио сообщений для SETI оказывается для такой цивилизации единственным способом нас достать.
И цели например, могут быть даже позитивные. они могут попросить нас построить мощный передатчик и отослать им результаты исследований нашего мира. Просто мы не можем быть уверены, что это на самом деле так.

Однако если мы получаем сигналы от сверхцивилизации с близкого расстойния (50-1000 световых лет), то тут Ваша правда - им нет смысла посылать опасные радиосообщения, так как можно и долететь за разумное время.

Поскольку сейчас поиски SETI нацелены на ближайшую 1000 световых лет, то они более безопасны.

Однако когда дальность поисков возрастёт до миллиона световых лет (при этом число звёзд в обёме поиска будетрасти  пропорционально третьей степени дальности поисков, а значит, риск будет расти с такой же скоростью), то тогда шансы натолкнуться на опасные радиопослания станут реальными, поскольку на таких дальностях отправка радиопосланрй выигрывает у любых до световых космических кораблей по эффективности.

[Dervish]

У меня дома живут декоративные крысы, и я на их примере наблюдаю разные аспекты контакта между двумя условно разумными расами Конкретно, каждый вечер я их выпускаю из клетки побегать по спальне. Крыса, которая не хочет контакта (есть у меня такая), ныкается в угол или вместе с другими крысами устраивает гонки под кроватью. Я ее не трогаю, она меня. Крысы, которые хотят со мной общаться, лезут мне на руки и общаются (лижут руки, играют с пальцами, лазают по плечам, я им чешу спинки, глажу их). Я их уважаю и не навязываюсь, если они не хотят общаться.
В общем, чтобы контакт произошел, нужно обоюдное желание

Бяя-а, крысы, как гадко. Не хочу что бы меня лизали крысы, даже инопланетные

[petrowich]

насчёт сперматозоида - шутка. остальные претензии расшифруйте.

Оплодотворенные воины бежали в бой. 
Как бы не родили по дороге. Понимаете, бог с ним, с полом, но тут получается, уже не важно где и когда запускаться, все уже в наличии для размножения. Если что, будут оплодотворяться с другими боевыми сперматозоидами, вероятно.
Это у Вас ход мыслей по Фрейду?

С вероятностью 50 на 50. Или Вас утром на улице динозавр съест, или не съест. Смотрите, осторожнее ходите.

[wanderer]

wanderer - прочитайте статью "ии как фактор глобального риска", где этот вопрос в деталях обсуждается, плз.т
Вывод в том, что невозможно запереть враждебно настроенный ум, в миллионы раз превосходящий человеческий. Потому что он может обмануть или найти лазейку. Пример обмана: сделка. Он предлагает реализовать некие новые технические возможности, но для этого просит предоставить доступ в сеть или переферийные устройства.

Второе обстоятельство - это многократность процесса. то есть если одна группа людей будет достаточно благоразумна, чтобы очень хорошо запереть ИИ в ящике и не считывать никаких результатов его работы и не вводить в него никакие данные, то другая может придерживаться менее строгих станадратов безопсности или быть эгоистичнее.
 

1. Дайте ссылку на статью, пожалуйста.
2. Согласно Вашему сценарию ИИ не нужно никуда запирать. Он уже заперт - крутится на процессоре в виртуальной машине, ни с переферией не знаком, ни сетевых протоколов не знает.

[vika vorobyeva]

Бяя-а, крысы, как гадко. Не хочу что бы меня лизали крысы, даже инопланетные

А чего же Вы хотите? Прекрасных девушек с фиолетовыми глазами в облегающих скафандрах? 
Когда мы встретим внеземную жизнь, боюсь, обычные подвальные крысы покажутся Вам образцом красоты, грации и совершенства

PS Они совершенно чудесные, и гладить их очень приятно

[turchin]

Юдковски. ии как фактор глобального риска
http://www.proza.ru/texts/2007/03/22-285.html

Если SETI-AI запустился сам собой на неком компьютере, то люди о его существовании не знают, и поэтому защита слабая. Конечно, возможно, что этот код запустится на некой виртуальной машине, которая будет так удачно изолирована от внешнего мира, что он ничего не сможет достичь. Но это будет не единственная попытка атаки.

Если люди сознательно запустили инопланетный код, то они очевидно, будут понимать, что он может быть опасен, и построят определённую защиту. Но они могут недооценивать Ии, так как никогда с ним не сталкивались. Во-вторых, они будут испытывать интерес к результатам его работы, что предполагает обмен информацией. И тут возникают соблазны.
например, ИИ скажет: ребята, я прилетел, чтобы провести вас через трудности переходного периода и помочь избежать нависших катастроф, дать новые мощные источники энергии, победить врагов. И это может быть правдой, а может быть и ловушкой.

[Дмитрий В.]

Бяя-а, крысы, как гадко. Не хочу что бы меня лизали крысы, даже инопланетные

А если крысы инопланетные будут, допустим, антропоморфными, разумными, технократичными и... "в облегающих скафандрах" ?

[wanderer]

Юдковски. ии как фактор глобального риска
http://www.proza.ru/texts/2007/03/22-285.html

- Не по теме. Там рассмотрен Земной ИИ. 

Если SETI-AI запустился сам собой на неком компьютере, то люди о его существовании не знают, и поэтому защита слабая.

Не запустится. Это невозможно. (смотри мои предыдущие посты).

Если люди сознательно запустили инопланетный код...

Ещё раз повторю. Ну запустят они его на Вашей машине Поста (или аналогичной). Ну и что? Это ведь очень простой автомат и обмен информацией там не предусмотрен.

И вообще, если брать статью Юдковского, у Вас обратная ошибка. Вы в силу антропоморфизма переоцениваете возможности инопланетного ИИ.

[turchin]

1. есть хитрые способы взлома закрытых автоматов, например, через анализ потребления электричества микросхемой. в случае виртуальной машины это может быть анализ задержки выполнения некоторых команд, недопустимые операции, частота сбоев. например, записать миллирд нулей и проверить не будет ли в них сбоев. Если сбои будут, это уже канал связи со внешним миром - например, сбои могту означать наводки в электрической сети. Неделю назад в компьютерре была статья о взломе шифров через знание ошибок в процессорах.
Всё же вариант с запуском без помощи человека я считаю маловероятным, так что спор о машине поста носит чисто теоретический харакетр.

2. В начале стстьи юдковского есть рекомендация перед её чтением прочесть его же статью "систематические ошибки в оценке рисков."http://www.proza.ru/texts/2007/03/08-62.html, где поясняется, что ошибки надо искать не у других, а у себя, так как если искать их у других, это ведёт к снижению безопасности.
Иначе говоря, если антропоморфизм ведёт к занижению рисков, это гораздо хуже, чем если он ведёт к их завышению.

наконец, где здесь антропморфизм? возьмите, например, биологический вирус, который поражает живую клетку, взламывая её стенку с помощью  специального белка, затем захватывает в ней власть , заставляет произвести тысячи своих копий и выбросить их наружу. обычное поведение репликатора.

[MARY]

Бяя-а, крысы, как гадко. Не хочу что бы меня лизали крысы, даже инопланетные

А чего же Вы хотите? Прекрасных девушек с фиолетовыми глазами в облегающих скафандрах? 
Когда мы встретим внеземную жизнь, боюсь, обычные подвальные крысы покажутся Вам образцом красоты, грации и совершенства

PS Они совершенно чудесные, и гладить их очень приятно

  В наступающий год крысы, так и быть, польслить надо этим милым созданиям (тем более, что я сама "крыса"). А инопланетных чудиков хочу мягких, пушистых, чтоб мурлыкали. Ну и чтоб за уши не дёргать. 

[turchin]

я изложил свои соображения по рискам SETI в виде статьи, предварительная версия которой расположена здесь:

спасибо всем, кто вдохновлял меня своими возражениями:)

Насколько seti опасно?
http://www.proza.ru/texts/2007/12/04/38.html