Вероятность гибели цивилизации в 21 веке

[Алексей Шевченко]

И ничего особенного не случится. 

Я надеюсь, что так прокатит...ибо в противном случае [----]!

[SpiegeLeisen]

А Вы вспомните фильм "Космическая одиссея-2001года". Там главный бортовой компьютер HAL-9000( установленный на американском космическом корабле) тоже был дружелюбен и любопытен...пока не свихнулся .

Фильм не помню, но ситуация неоднократно обыгрывалась в фантастике.

Максимум что может сделать сбрендивший бортовой компьютер - уронить подопечный корабль кому-нибудь на голову, и самому геройски погибнуть. А если бортовому компьютеру трамвая доверили управлять всеми мировыми атомными бомбами - тем доверчивым кретинам так и надо!

[SpiegeLeisen]

Еще раз напоминаю - гораздо опаснее не рукотворный разум, а самозародившийся, сформулировавший свои цели и методы без человеческого присмотра.

Возможный сценарий ИИ-апокалипсиса...

Имеется: система распределенных вычислений, типа SETI@Home.
Имеется: много-много компьютеров, соединенных коммуникациями.
Имеется: Программа в каждом компьютере, которая получает какие-то данные, обрабатывает, и передает дальше.
Изначально - цель и задача вполне легальна, например поиск разумных сигналов в космическом шуме.

Программа умеет оптимизировать процесс обработки, модифицируя собственный алгоритм. Умеет передавать удачные настройки другим Программам.
Программа умеет работать на любой аппаратной платформе. Программа стремится использовать все доступные вычислительные мощности, умеет инсталлироваться везде куда есть доступ, например в таймер микроволновки или в мобильник.
Программа умеет использовать для передачи своих данных все доступные каналы связи - модем, интернет, почта, телеграф, телефон.
Программа умеет не мешать хозяевам, используя только свободные ресурсы. Программа умеет платить хозяевам за используемые ресурсы. Для этого умеет зарабатывать деньги, например на бирже. Или используя свои возможности по обработке данных в коммерческих целях, получая заказы напрямую от клиентов.
Программа стремится максимально эффективно решать поставленную задачу.

Все это, и много чего еще, в Программу заложили разработчики, с одной целью - создать эффективную систему распределенной обработки данных.

Что-нибудь из перечисленного невозможно? Что-нибудь выходит за горизонт современной науки?

Размножение, мутации, передача наследственной информации... Что я забыл из свойств ЖИЗНИ?

И вот в системе наступает Ледниковый Период... SETI@home банкротится, сисадминов увольняют, ихние компьютеры конфискуют (за пиратский тетрис), наша Программа остается сама по себе, продолжая работать на миллионах персональных компьютеров.
Поскольку Программа НЕ является вредоносным вирусом, с ней не борются. Она даже пользу приносит. И продолжает работать - мутировать, обмениваться информацией, искать источники еды (данных, ресурсов), оптимизировать процесс поиска и процесс оптимизации... В конце концов изначальная Цель исчезает, заменяется целями выживания, размножения, приспособления...

Что еще надобно для возникновения РАЗУМА?

Причем Разума абсолютно чуждого человеческому, неподконтрольного никому, и уже никакой гениальный хакер не разберется в внутренних процессах Программы.

Опасность - не в самом Разуме или Жизни, изучать такой феномен было бы довольно прикольно, а в том что его цели не имеют ничего общего с нуждами человека. И такой Разум просто так не выключишь - понадобится несколько миллионов рубильников...

[turchin]

SpiegeLeisen, полностью свами солидарен, - вполне возможный вариант.

Ещё можно вспомнить о ботнетах - сетях, которые хакеры создают из заражённых компьютеров, для осуществления распределённых атак. то есть если один гениальный хакер сделает некое открытие, ведущее к ИИ - ведь доказали же теорему ферма - то он сможет законтролировать почти весь интернет. А потом много возможностей, которые не предсказать.

[Nucleosome]

Почему при разговорал об угрозе ИИ делаются допущения:
он будет умнее человека
он не будет иметь функциональности кроме свеого размножения
люди не смогут бороться с ним, даже когда увидят, что дело идёт к их гибели
"Космическая одисея 2001" (название-то какое - уже 6 лет как и ИИ и на иные планеты запросто летаем) это всё-таки фантастическая книга, а не научная статья, поэтому нельзя её приводить как аргумент вснепременного появления отмороженного (по выражению SpiegeLeisen) ИИ. Кроме того, там-то речь идёт об очень узком и ограниченном мирке, где строго говоря и нет конкурентов на его обладание. Книгу это читал, но давно, сейчас помню плохо...
SpiegeLeisen - я тоже согласен с вашим сценарием. А ещё подумалось: а может мы это все ИИ такие, которых кто-то сдела, и теперь следит - что-то мы придумаем?..

Вместе с тем, не сомневаюсь, что он может заработать определённые деньги на бирже, получить на некий счёт и нанять людей для своих целей.

Ага!
А потом придёт дядя (тётя) из ЦРУ,(как вариант МИ-6, ФСБ или Массад) и поинтересуется вежливо: - А чё это вы тут делаете? Уж не бионанотеррористы случайно?
turchin, Вы даже не представляете, как у нас на Земле всё запущенно - конкуренция в этом деле (захват планетарной власти) такая, что очень умному но беспомощному ИИ не светит никаких перспектив.

Угу. Вот то-то и оно - много кто власть пытались захватить на Земле и всё с одним и тем же успехом.

[SpiegeLeisen]

то есть если один гениальный хакер сделает некое открытие, ведущее к ИИ -

Я вполне допускаю возможность создания некоего сравнительно простого алгоритма (вируса), с функциональностью на уровне бактерии, который может эволюционировать в что-то качественно большее.

то он сможет законтролировать почти весь интернет.

А вот это наврядли. Ни один гениальный хакер не сможет лично контролировать весь интернет - у него просто мозги лопнут. И не дадут - много таких было... Хакеру придется давать своему вирусу все большую самостоятельность, и по мере этого хакер потеряет контроль за своим творением.

Важнейшее свойство Интеллекта, искусственного или естественного - внутренняя свобода в принятии решений, т.е. независимость от навязывания  решений извне. Дети становятся умнее когда учат уроки самостоятельно. ИИ принципиально отличается от простой программы именно тем что способен принимать нетривиальные решения, оптимальные для специфической среды обитания.

[T101]

Да....  SpiegeLeisen, turchin, ну у вас и фантазия...
А теперь смотрим на зашкаливший альтиметр и со скоростью g направляемся к земной тверди
Как справедливо заметил Nucleosome, произведения Кларка конечно вещь, но их за аргумент считать нельзя.

Сначала пробежим по сценарию ув. SpiegeLeisen:

Имеется: система распределенных вычислений, типа SETI@Home.
Имеется: много-много компьютеров, соединенных коммуникациями.
Имеется: Программа в каждом компьютере, которая получает какие-то данные, обрабатывает, и передает дальше.
Изначально - цель и задача вполне легальна, например поиск разумных сигналов в космическом шуме.

Допустим.

Программа умеет оптимизировать процесс обработки, модифицируя собственный алгоритм. Умеет передавать удачные настройки другим Программам.

Модифицируя алгоритм? Это крутовато и ненужно. Во-первых, ей надо с собой иметь компилятор и линкер. Во-вторых, она должна время тратить на обработку данных, а не на возню над собственным алгоритмом. В-третьих, если она без сорцов, то как она будет модифицировать свой алгоритм? На уровне машинных комманд? В современных компайлерах есть хорошие оптимизаторы, но алгоритм они не модифицируют. А на этом уровне что-либо оптимизировать лучше них - трудно. В-четвертых (и самое главное в этом пункте): если мы получаем распределенную систему, где на каждой машине алгоритм обработки данных свой, какой вообще смысл строить такую систему? Как тогда результаты такие сопоставлять? Это бессмысленно, такие результаты ценности не представляют.
В-пятых, даже если оно так и происходит, то все программы будут эволюционировать совершенно одинаково и никаких "обменов удачными алгоритмами" не будет, т.к. здесь, в отличие от Жизни, нету вам никаких случайных мутаций, а просто обмен удачными настройками ни к чему такому страшному привести не может. В-шестых, Обмена между программами настройками тоже быть не может, т.к. вообще программы не знают, где друг-друга искать - они знают только как достучаться до своего сервака. А апдейты все идут от него же, централизовано на все эти машины.

Программа умеет работать на любой аппаратной платформе.

Сразу? На java то бишь написана она? Тогда еще и джавовский рантайм таскать всюду надо... А для вычислений подобные изыски не эффективны. А просто вот так, чтобы ехе-шник работал сразу и на виндовзе и на линуксе и на мак ос х и на др. - это, извините, не бывает.

Программа стремится использовать все доступные вычислительные мощности
...
Программа умеет не мешать хозяевам, используя только свободные ресурсы.

Тут, извините, надо уже определиться Реально в описываемой вами системе будет второй вариант.

умеет инсталлироваться везде куда есть доступ, например в таймер микроволновки или в мобильник.

Ваш рассказ - ну прямо мечта программера!  Написанного выше, быть никак не может. Начиная с очевидных вещей, что например эелементарно не хватит места и отсутствие физической возможности записи в пзу, а более серьезно - каждая платформа имеет свой набор апи - программных интерфейсов, через которые программа может так или иначе взаимодействовать с оборудованием. Они везде разные. Не зная их (этих апи, прерываний, набора машинных команд и тд.) нельзя вообще ничего сделать.

Программа умеет использовать для передачи своих данных все доступные каналы связи - модем, интернет, почта, телеграф, телефон.

Опять же. Протоколы везде разные, как узнать, где искать адресата, кто ее туда пустит в конце-концов? Все каналы связи использовать не получится.

Программа умеет платить хозяевам за используемые ресурсы. Для этого умеет зарабатывать деньги, например на бирже.
Или используя свои возможности по обработке данных в коммерческих целях, получая заказы напрямую от клиентов.
Программа стремится максимально эффективно решать поставленную задачу.

Если программа умеет зарабатывать деньги, то разработчикам от нее вообще больше ничего не надо и делать бы с ней они ничего другого не стали

Все это, и много чего еще, в Программу заложили разработчики, с одной целью - создать эффективную систему распределенной обработки данных.

Эффективные системы распределенной обработки данных существую и уже давно, вышеперечисленных "фич" в них нет, т.к. половина из них невозможна, и все они в целом просто не нужны для эффективной обработки данных.

Размножение, мутации, передача наследственной информации... Что я забыл из свойств ЖИЗНИ?

Еще раз: нету никаких мутаций в жизни программ. А менять свой алогоритм, базируясь на псевдорандоме - это пустая и бесполезнейшая трата времени.

И вот в системе наступает Ледниковый Период... SETI@home банкротится, сисадминов увольняют, ихние компьютеры конфискуют (за пиратский тетрис), наша Программа остается сама по себе, продолжая работать на миллионах персональных компьютеров.
Поскольку Программа НЕ является вредоносным вирусом, с ней не борются. Она даже пользу приносит.

Как это - остается сама по себе? Сервер выключили, данные посылать не кому, данные брать неоткуда - она или автоматически выключается или занимается idle-процессом...

И продолжает работать - мутировать, обмениваться информацией, искать источники еды (данных, ресурсов), оптимизировать процесс поиска и процесс оптимизации... В конце концов изначальная Цель исчезает, заменяется целями выживания, размножения, приспособления...

Источники еды - данные и ресурсы! Ресурсов мало, а данных уже нет - сервер выключен, напоминаю.

Что еще надобно для возникновения РАЗУМА?

очень, Очень, ОЧЕНЬ много! Вы не поверите, но это так.

Причем Разума абсолютно чуждого человеческому, неподконтрольного никому, и уже никакой гениальный хакер не разберется в внутренних процессах Программы.

Зря, совсем напрасно вы недооцениваете хакера. У него ВСЕГДА есть преимущество, независимо от того, кто его противник. Подробнее ниже напишу.

Опасность - не в самом Разуме или Жизни, изучать такой феномен было бы довольно прикольно, а в том что его цели не имеют ничего общего с нуждами человека.

Да не может быть в описанном случае никакого разума. И целей у программы никаких нет - программа - это просто записанный в файл список операций и всё.

И такой Разум просто так не выключишь - понадобится несколько миллионов рубильников...

Ууууу!... У Чубайса есть ТАКОЙ рубильник, который выключает ВСЁ   

Теперь более общие слова. Про хакеров. Зря вы их недооцениваете. Хакера всегда на шаг вперед и он всегда имеет преимущество перед противником, т.к. ему проще и легче. Найти, разузнать или создать и использовать дыру в обширной системе - дело не такое уж хитрое, поверьте. Хакеру это относительно просто. А вот обороняющейся стороне следить за тем, чтобы все дырки были прикрыты, за тем, чтобы не создавались ситуации, при которых могут открыться новые дырки - гораздо труднее. Дырок много, появиться новых может тоже много, и за всем надо следить, все надо своевременно затыкать, когда хаккеру достаточно всего-навсего одной-единственной бреши. В этом отношении обороняющейся стороне наиболее целесообразно уменьшать этот периметр обороны, через который идет взаимодействие с потенциально опасной средой, чтобы проще было за ним следить. А у описанных систем этот периметр будет гигантский просто. Поэтому атакующему всегда легче. Кроме того, новые дыры или условия их создания чаще всего обнаруживает/придумывает хакер, а обороняющаяся сторона закрывает их уже после первых удачных нападений, поэтому атакующий всегда на шаг впереди. Так что если уж припрёт - похачим мы этот ИИ Люди тренируются уже вот:
http://www.vz.ru/politics/2007/6/21/89363.html   

Дальше. В нафантазированных ужасах одним из ключевых моментов является то, что программа кроме своей задачи начинает своевольно заниматься какими-то другими делами - залазить в интернет и т.д. Не будет такого. Т.е. нормальные программы строятся по модульному принципу. Аналитическая часть в виде отдельной библиотеки, код, взаимодействующий с системой - в виде отдельной библиотеки, между ними может быть еще куча всяких разных прослоек. И аналитический код, который "взбрендит" еще и не узнает вообще, что какие там еще апи системные есть и проч., чтобы пользуясь ими начать творить что-то новое. И на самом деле таких чисто технических препятсвий целое море.

Я вполне допускаю возможность создания некоего сравнительно простого алгоритма (вируса), с функциональностью на уровне бактерии, который может эволюционировать в что-то качественно большее.

Это вот концентрат ваших предыдущих фантазий, как я понял - виндовский калькулятор, захватывающий мир  Здесь от комментариев воздержусь.

Подходим к завершению.
И самое главное. Это наивно полагать, что ИИ будет разработан вот так быстро и внезапно поумнеет и выйдет из под контроля. Даже на нашем форуме уже много обсуждалось, что вообще понимать под ИИ  (тут смыслы очень разные, и вы для начала дали бы определение, чтобы уже можно было конкретнее говорить о возможностях и невозможностях, сроках создания, потенциале и тд.), будет ли он вообще создан (ИИ, который по возможностям не уступает человеческому интеллекту).
Но реально, что мы имеем: существующие системы ИИ, достаточно развитые все равно являются очень специализированными приложениями, напр. экспертные системы и т.п. Любой программный продукт сейчас (как и раньше) разрабатывается как ИНСТРУМЕНТ, облегчающий работу человека в той или иной области, а не как подруга или товарищ по партии. Потому что, во-первых, создать ИИ, не уступающий человеческому (по универсальности, возможностям, адаптации и проч) - пока не представляется даже как
да и не нужно. Чтобы играть в шахматы - делают специлизированную систему на ИНС, натаскивают ее на игру в шахматы. Всё, больше она ничего не умеет, никогда не сумеет, да от нее большего и не нужно. Надо разведывать месторождения полезных ископаемых - разрабатывается экспертная система по анализу геофизики и проч. данных - только это она умеет - сказать, где более вероятно наличие таких-то руд - куда копать надо. И больше от нее ничего не надо. Надо, чтобы игрушечная машинка сама училась искать выход из лабиринта, пользуясь только несколькими датчиками - она это делает и только это. Ну вот есть в ней, грубо говоря, некоторая сложная формула с морем коэффициентов и сложная система, с ней работающая, машинка пытается так и эдак проезжать лабиринт - стукается, получает общую оценку неуд, значит коэф-ы выбраны неверно. Проходит поворот чисто - значит оценка отл. и коэффициэнты считаются хорошими. Так они и подгоняются. Ну, это очень сильное упрощение, но примерно так. Вот и весь "ИИ".
Даже если, как предполагает ув. turchin, будет создана система ИИ для ведения боевых действий - это опять же, только для каких-то относительно однотипных операций. Да, тут может быть управление боевыми БПЛА или что-нить в этом роде (если это ему доверят вообще), но глюк этой программы к "восстанию машин" не приведет, хотя несколько кварталов какого-нить города порушить может, что, конечно, тоже нехорошо. В общем, все эти системы ИИ создаются уже несколько десятилетий, но они нацелены на выполнение каких-то специализированных задач, в них они показывают себя хоршо, но только в них они и могут что-то делать. Новая задача - новая, другая система. Полностою универсальную штуку пока не сделали, оно и не требуется.
Ну а если говорить именно о создании ИИ, не уступающего человеку, универсального, адекватного в незнакомых условиях и проч. - вопрос, будет ли он вообще создан, тут, быть может, для создания аналога человека потребуется весь мозг его в электронном виде воспроизвести, да и то, я очень не уверен в том, что это даст нам такой ИИ.

В общем, ИМХО, ИИ, который будет суперумным, с человеческим или нечеловеческим супермышлением, захватывающий мир - вряд-ли будет, в 21 веке тем более.

И напоследок. Я тут конечно похихикал над некоторыми высказываниями, прошу не обижаться, если что - просто действительно забавно очень выходит

[SpiegeLeisen]

виндовский калькулятор, захватывающий мир 

 

Разумеется, в моем сценарии слишком много допущений, чтобы считать его пророчеством. 

Однако - все перечисленные элементы УЖЕ существуют как класс, хотя бы по отдельности. И кроссплатформенность развивается (.NET слышали?), и самомодифицирующийся код давно известен (я еще лет 15 назад такие проги сочинял), и протокол связи TCP/IP работает на любом физическом соединении, и т.д. И если до сих пор нет программ подобных описанной - то это по причинам совершенно нетехнического характера. Одна из причин - люди боятся доверять компьютеру, и не позволяют ему лишние вольности.

А менять свой алогоритм, базируясь на псевдорандоме - это пустая и бесполезнейшая трата времени.

Между прочим, одно из прогрессивных направлений обработки информации...

Программа стремится использовать все доступные вычислительные мощности
Программа умеет не мешать хозяевам, используя только свободные ресурсы.

Тут, извините, надо уже определиться  Реально в описываемой вами системе будет второй вариант.

Элементарно! Переписывается системная функция idle...

Что еще надобно для возникновения РАЗУМА?

очень, Очень, ОЧЕНЬ много! Вы не поверите, но это так.

Сегодня никто не знает, что именно надобно. Может быть, не так уж и много...

программа - это просто записанный в файл список операций и всё.

Не обижайтесь, T101, но Вы излагаете представления о программировании середины прошлого века...

**********

Представьте, что в Вашем организме вдруг обнаружили 20-метрового глиста, причем неизвестной науке породы... 

[T101]

Однако - все перечисленные элементы УЖЕ существуют как класс, хотя бы по отдельности. И кроссплатформенность развивается (.NET слышали?),

Половина из них существуют в зачаточном состоянии (по отношению к вашему сценарию) и в нем и останутся, т.к. давно никому не нужны.
Касаемо дотнета, я уже писал: рантайм джавы и дотнет - для распределенных вычислений - это фигня. Кроме того, работая в подобном энвайронменте коду только сложнее получить доступ к системным функциям.

и самомодифицирующийся код давно известен (я еще лет 15 назад такие проги сочинял)

Какой именно вид самомодификации вы имеете в виду? Их много. Вы уж определитесь со сценарием.
Я бы не ставил соотносить к примеру самоморфирующиеся вирусы (хоть полиморфы, хоть метаморфы) и самомодификацию алгоритма в ИИ. В нормальных программах такое как правило не используется, т.к. пусть даже она наоптимизурет себя там каким-то макаром, как саппортить ее в случае возникновения ошибок?

И если до сих пор нет программ подобных описанной - то это по причинам совершенно нетехнического характера. Одна из причин - люди боятся доверять компьютеру, и не позволяют ему лишние вольности.

Неправда. Основная причина - это совершенно не нужно, не рационально и труднореализуемо.

А менять свой алогоритм, базируясь на псевдорандоме - это пустая и бесполезнейшая трата времени.

Между прочим, одно из прогрессивных направлений обработки информации...

Да? А приведите пример реально эффективной такой системы, интересно. А потом приведите пример такой системы, выполняющей распределнные вычисления (согласно вашему сценарию).

Программа стремится использовать все доступные вычислительные мощности
Программа умеет не мешать хозяевам, используя только свободные ресурсы.

Тут, извините, надо уже определиться  Реально в описываемой вами системе будет второй вариант.

Элементарно! Переписывается системная функция idle...

Это вы где такую взяли? Вы хотите подложить другой код вместо idle-потока или вместо zero-page-потока или вместо чего? Это, извините, уже сложный и глубокий хак, так нормальные приложения не пишут. Вообще в таких случаях просто задается минимальный приоритет ковыряющимся потокам программы, ничего хачить не надо. Вы уже определитесь: выполнение идет или в низком приоритете, при это не происходит "Программа стремится использовать ВСЕ ДОСТУПНЫЕ вычислительные мощности", или в высоком, когда она все одеяло тянет на себя. При желании можно много чего отвалить, чтобы побольше процессорного времени получить. Но не всё конечно.
Т.е. речь идет о "Программа использует все СВОБОДНЫЕ вычислительные мощности". Это нормальный режим работы программ, ничего тут особенного нет. Какое отношение это будет иметь к становлению ИИ и какое это даст ему весомое преимущество - мне непонятно. Знать, что код этот выполняется - пользователь все равно будет.

Что еще надобно для возникновения РАЗУМА?

очень, Очень, ОЧЕНЬ много! Вы не поверите, но это так.

Сегодня никто не знает, что именно надобно. Может быть, не так уж и много...

Тема была уже. И вроде не одна. Это, можно почитать и обсудить там. Воспользуйтесь в форуме поиском по запросу "определение разума".

программа - это просто записанный в файл список операций и всё.

Не обижайтесь, T101, но Вы излагаете представления о программировании середины прошлого века...

Как был исполняемый бинарник набором команд, так и остался. Наворачивать на это все языки все более высокого уровня со все более громоздким энвайронментом можно сколько угодно, но ИИ тут не причем.

Представьте, что в Вашем организме вдруг обнаружили 20-метрового глиста, причем неизвестной науке породы... 

Типун вам на язык. А вообще, не понял, к чему вы это. Ну пойду к докторам, скажу: "Мужики, зацепите хвост, упирайтесь руками и тащите!". Потом противоглистным 200 грамм заполирую. Шутка конечно

[Nucleosome]

Ну пойду к докторам, скажу: "Мужики, зацепите хвост, упирайтесь руками и тащите!". Потом противоглистным 200 грамм заполирую. Шутка конечно

Опасно такое делать - глист может порваться. а в нём - прорвы яиц, и расспятся они по вам... Тут нужно нечто более тонкое...
Я просто пишу только про глиста, потому что во всём остальном из последних постов не сведущ.
Кстати, а почему у программ нет случайных изменений? Ведь вроде бы абсолютно надёжных систем не бывает. значит сбои они самопроизвольно по идее могут давать. а эти сбои и будут мутации. Разве нет?

[T101]

Опасно такое делать - глист может порваться. а в нём - прорвы яиц, и расспятся они по вам... Тут нужно нечто более тонкое...

Так для того и 200 грамм антиглистного

Кстати, а почему у программ нет случайных изменений? Ведь вроде бы абсолютно надёжных систем не бывает. значит сбои они самопроизвольно по идее могут давать. а эти сбои и будут мутации. Разве нет?

Ну, кроме того, что они вообще достаточно редки...
Если случайное изменение в памяти, оно должно на диск записаться, чтобы при следующем запуске программы воспроизвелось.
Если случайное изменение на диске (реже, но все же), то, вероятнее всего, программа перестанет работать. При первом же запуске наиболее вероятен unhandled exception и завершение. Надо переустанавливать

[SpiegeLeisen]

Я же не утверждаю что SETI@home это и есть бешеный дикий ИИ   
А как будет выглядеть софт через 100 лет предсказать довольно сложно.
Обсуждение технических проблем здесь - глубокий оффтоп, поэтому предлагаю замять для ясности.

Представьте, что в Вашем организме вдруг обнаружили 20-метрового глиста, причем неизвестной науке породы... 

Типун вам на язык. А вообще, не понял, к чему вы это.

А вот это как раз в тему. ЕСЛИ в мировой вичислительной сети заведется дикий ИИ - это и будет глист-паразит 

Я не считаю такой сценарий более вероятным чем например извержение супервулкана. Но если вдруг - некоторая глобальная опасность для цивилизации будет иметь место. Впрочем, не смертельная. В крайнем случае, достанем из чуланов пыльные деревянные счеты. 

[T101]

Я же не утверждаю что SETI@home это и есть бешеный дикий ИИ   
А как будет выглядеть софт через 100 лет предсказать довольно сложно.
Обсуждение технических проблем здесь - глубокий оффтоп, поэтому предлагаю замять для ясности.

Я про технические вещи писал в тему того, чтобы показать технические трудности для "самозародившегося" ИИ по распространению и нанесению вреда.
В целом, согласен, что направляеся в оффтоп

Представьте, что в Вашем организме вдруг обнаружили 20-метрового глиста, причем неизвестной науке породы... 

Типун вам на язык. А вообще, не понял, к чему вы это.

А вот это как раз в тему. ЕСЛИ в мировой вичислительной сети заведется дикий ИИ - это и будет глист-паразит 

Непонятно, однако, чем тут отличие от дикого ИИ на одной машине, либо в сети, не подключенной физически к всемирной? Тут наверное лучше будет аналогия с вторжением муравьев в термитник или вроде того.
Но, так или иначе, показательно, что 20-метровая хрень в организме вряд-ли вырастет незамеченной. Потому ее еще до того обнаружат и обезвредят.

Я не считаю такой сценарий более вероятным чем например извержение супервулкана. Но если вдруг - некоторая глобальная опасность для цивилизации будет иметь место. Впрочем, не смертельная.

Ну а я в рамках данного топика вообще не даю никаких предсказаний, дающих вероятность 0 или 1. Я собственно не согласен с вами в том, что простое приложение, заточенное под решение какой-то задачи, пусть даже реализованное посредством ИНС или чего-то еще, не дойдет само-собой вот так до ИИ, захватывающего мир.
Вот глюк какой-то там может случится, ущерб, ессно, будет, но цивилизацию это действительно не погубит, да и наиболее вероятно ограничится только теми машинами, на которых установены компоненты распределенки. А конкретно ИИ, не уступающий человеку, если когда-то и будет создан, то в результате планомерных разработок такого ИИ. И здесь естественно будут приняты меры предосторожности.

Вообще, применительно к данному топику, вероятности гибели цивилизации от "рук" ИИ и от взрыва супервулкана я бы приравнял (оба за предстоящие 93 года очень маловероятны), а в неограниченной перспективе - я бы большую вероятность все же отдал супервулкану.

В крайнем случае, достанем из чуланов пыльные деревянные счеты. 

... и непохмелившихся админов с топорами

[SpiegeLeisen]

технические трудности для "самозародившегося" ИИ по распространению и нанесению вреда.

Трудности, трудности... 100 лет назад тоже были трудности при установке Виндовс на настольный арифмометр. Но справились же, и 100 лет не прошло! 

Непонятно, однако, чем тут отличие от дикого ИИ на одной машине, либо в сети, не подключенной физически к всемирной?

Я имел в виду именно всемирную сеть. В локальной системе любой глюк - это локальные проблемы локального сисадмина.

20-метровая хрень в организме вряд-ли вырастет незамеченной.

Но ведь бывает что вырастает! С глистами в организме можно жить довольно долго, списывая недомогания на посторонние причины.

Я собственно не согласен с вами в том, что простое приложение, заточенное под решение какой-то задачи, пусть даже реализованное посредством ИНС или чего-то еще, не дойдет само-собой вот так до ИИ, захватывающего мир.

Такая точка зрения вполне имеет право на существование. Наряду с моей. 

А конкретно ИИ, не уступающий человеку, если когда-то и будет создан, то в результате планомерных разработок такого ИИ. И здесь естественно будут приняты меры предосторожности.

Вот и я говорю - рукотворный ИИ, в отличие от дикого, не опасен, потому что контролируем.

[T101]

Непонятно, однако, чем тут отличие от дикого ИИ на одной машине, либо в сети, не подключенной физически к всемирной?

Я имел в виду именно всемирную сеть. В локальной системе любой глюк - это локальные проблемы локального сисадмина.

А я имел в виду применительно к аналогии с человеческим организмом и червем. Просто мне кажется, что ваша аналогия не очень удачна. Интернет - это не человеческий организм (не - раздельно ), а скорее колония одноклеточных

Я собственно не согласен с вами в том, что простое приложение, заточенное под решение какой-то задачи, пусть даже реализованное посредством ИНС или чего-то еще, не дойдет само-собой вот так до ИИ, захватывающего мир.

Такая точка зрения вполне имеет право на существование. Наряду с моей. 

Но, в поддержку своей точки зрения еще раз замечу, что случайное самозарождение ИИ из простого специализированного на чем-то приложения очень-очень мала. То же, что из плотника по изготовлению деревянных ложек с бухты барахты получится космонавт, готовый к длительному межпланетному перелету.
Я ж не говорю, что вероятность вашего сценария 0. Моя точка зрения в том, что эта вероятность мало больше чем 0.

А конкретно ИИ, не уступающий человеку, если когда-то и будет создан, то в результате планомерных разработок такого ИИ. И здесь естественно будут приняты меры предосторожности.

Вот и я говорю - рукотворный ИИ, в отличие от дикого, не опасен, потому что контролируем.

"Дикий Искусственный Интеллект" Имхо, любой поток исполнения на любой машине так или иначе контролируем Хотя тут тоже можно поспорить

[SpiegeLeisen]

скорее колония одноклеточных

А Человек - это не колония одноклеточных? От колонии он отличается разве что специализированностью и взаимосвязями.

случайное самозарождение ИИ из простого специализированного на чем-то приложения очень-очень мала.

Из простого и специализированного - вероятности вообще нет. Калькулятор не захватит мир.
Именно поэтому я упомянул способность к самооптимизации. Необходим также какой-то критический уровень не-простоты.
Какой именно - отдельный вопрос, но я исхожу из возможности неограниченного роста вычислительной мощности.

Имхо, любой поток исполнения на любой машине так или иначе контролируем Хотя тут тоже можно поспорить

Контролируем только в том смысле что современный компьютер - всего лишь конечный автомат с линейной памятью. Но это очень скоро может измениться.

******

К вопросу о ИИ в таймере микроволновки: 
http://www.compulenta.ru/news/2001/2/5/7913

[T101]

скорее колония одноклеточных

А Человек - это не колония одноклеточных? От колонии он отличается разве что специализированностью и взаимосвязями.

Также он отличается целостностью, систематикой функционирования "одноклеточных", возможностью взаимодействия "одноклеточных", "общей платформой" и т.д.

С остальным в принципе согласен Просто я свою точку зрения стараюсь основывать исходя из сегодняшних реалий, а не из того, что "в будущем всё может быть"

[Nucleosome]

Ну, кроме того, что они вообще достаточно редки...
Если случайное изменение в памяти, оно должно на диск записаться, чтобы при следующем запуске программы воспроизвелось.
Если случайное изменение на диске (реже, но все же), то, вероятнее всего, программа перестанет работать. При первом же запуске наиболее вероятен unhandled exception и завершение. Надо переустанавливать

А, ну значит всё-таки есть такие. И как и положенно мутация часто летальные. Отличие и довольно принципиальное, наверное состоит в том, что любой нынеживущий организм - это совокупоность мутаций, отобранных и наложившихся друг на друга, а прораммы писались с опредлённой целью и им изначально предавалась некая структура. Это факт, наверное, делает вероятность полезной мутации для организма несоизмеримо выше, чем для программы, даже и для вируса, который самореплицируется. (Да?)
Человек - вообще-то можно назвать колонией одноклеточных, потому как клетки у нас не слиты в единное целое, а достаточно самостоятельны и их можно даже на чашке растить.
а интернет это не организм - он же не функционирует как целостная система с поставленной целью, и даже, наверное не колония, это - экосистема. И гибель человечества от опастности оттуда в худшем случаем кончится экономическим кризисом, но не гибелью же...

[T101]

Да.

[turchin]

Народ, хочу отметить, что уже сейчас есть несколько групп, которые целенаправленно работают над тем, чтобы создать ИИ, который спасёт мир (а для этого придётся в начале мир захватить), например, SIAI заявлет это открыто.

Бен Ладен тоже уверен, что Всемирный халифат - это наиболее эффективный способ спасти мир.