Вероятность гибели цивилизации в 21 веке

[turchin]

Vista не может соврешенствовать сама себя, тогла как умный Ии сможет.
Именно поэтому он сможет  - возможно - увеличить свою силу на несколько порядков за несколько дней. за счёт того, что это будет очень быстрый взлёт, какой-то ИИ - возможно - осуществит его первым. И останется первым на несколько дней или часов. именно этот момент является наиболее опасным, так как в этот момент он будет обладать способностью захватить планету, то есть приостановить другие проекты ИИ.

[T101]

... или в первые же мгновенья экспоненциального развития накернится нафик в следствие неизбежно содержащихся в нем ошибок 
может хоть тут разгильдяйство разработчиков спасет мир

[turchin]

то, что он кокнется от ошибок - только временное утешение, так как сто штук кокнется, а потом один удержится.

хуже, если в процессе экспопненциального развития сместятся его цели. то есть он кокнется, а никто этого не заметит.

например, нейронные сети и генетические алгоритмы не понимают формальных команд типа "люби красные яблоки" - их надо натаскивать. и в процессе самосовершенствования эта команда "люи красные яблоки" может перерасти в такое... В америке есть институт SIAI, который работает над этой проблемой - как сделать систему целей Ии устойчивой при его экспоненциальном росте.

[SpiegeLeisen]

Vista не может соврешенствовать сама себя, тогла как умный Ии сможет.

Откуда он такой возьмется-то - сразу такой умный? Это только в дешевых блокбастерах так бывает.

[SpiegeLeisen]

хуже, если в процессе экспопненциального развития сместятся его цели. то есть он кокнется, а никто этого не заметит.

Да не будет экспоненциального развития...

Гораздо хуже, если нормальный дружественный ИИ научится у людей - лгать... Вот тогда никакой институт не поможет.

[T101]

Если серьезно, SpiegeLeisen прав - не будет экспоненциального развития, все эти ИНС и иже с ними - штуковины довольно медленные, обучение длительное, натаскивание и подгонка параметров очень постепенная, поведение в незнакомых условиях не очень грамотное. Учиться эта штука будет долго. Просто так выход в интернет ей никто не даст, причем физически. Ибо нефик. Да, и в конце-концов, случись что - придет злой дядько-админ и топором по харддиску, на котором база знаний ИИ и всё остальное. Делов-то... 
Мораль: на всякого взбесившегося ИИ найдется злой, непохмелившийся админ или программец с топором и матерными словами
Ну а уже если совсем бунт мощный - помните, есть тов. Чубайс, который электрорубильник хрясь и фсё. Все ИИ спят летаргическим сном 

[turchin]

мы не знаем, возможен ли экспоненциальный рост силы ИИ после того, как он пройдёт определённый порог разумности. только сам Ии сможет это доказать или опровергнуть. С точки зрения безопасности нам приходится предполагать, что он возможен, пока строго не доказано обратное. 

Тот факт, что исследования по ИИ идут медленно, не значит, что он сам будет работать медленно. Тоже самое с атомной бомбы - из того, что её производство требует многих лет кропотливой работы, не следует, что экспоненциальный рост числа нейтронов в критической массе будет медленным. ой, как не следует...

умный Ии сможет обмануть злого админа с топором, пообещав ему много пива.  

[SpiegeLeisen]

Я так думаю, искусственно созданный человеком ИИ не слишком опасен, не более чем плохо воспитанный ребенок - прежде чем станет взрослым и действительно опасным, его много раз вычислят и вычистят.

Интереснее, что будет если ИИ родится самопроизвольно. Вопрос о возможности самопроизвольного зарождения жизни на земле и интеллекта в компьютере весьма спорен, но я склоняюсь к мысли что при определенных условиях - запросто.

Вот у такого ИИ цели будут совершенно НЕ-человеческие, непонятные людям. Возможно и враждебные. Самое неприятное, что обнаружить его можно будет только по косвенным проявлениям - учащение "глюков" в вычислительной системе, неоправданное увеличение нагрузки - т.е. когда ИИ уже начал действовать... И страшно подумать какие методы достижения своих НЕ-человеческих целей выберет дикий ИИ, насмотревшись Интернета. 

[SpiegeLeisen]

Скока у ИИ будет дивизий? Судя по всему его сила не в дивизиях исчисляться будет а в байтах. Уж этой силой можно и принебречь ...

Скорее уж в терабайтах...
Одна из реальных дивизий ВВС США может получить по емылу приказ о бомбардировке Белого Дома...

[turchin]

fyunt - если вам действительно интересно, как ИИ захватит может планету, посмотрите статью Юдковкого, ссылку на которую я давал постов 10 назад.

Коротко говоря, Ии - это не байты, а управление. Например, умный Ии мог бы столь успешно играть на бирже, что за год скопил бы триллион долларов и подкупил бы все существующие дивизии. и это довольно примитивный сценарий.

то есть Ии бы не создавал дивизии, а боролся бы за управление ими.

Впрочем, сорее всего, он бы смог силами бионанотехнорлогий сделать себе собственное более быстрое и эффективное оружие.

**
насчёт самопроизвольности - увы, большинство комп. вирусов - а их сотни тысяч - сделаны людьми.

если ИИ будет расти быстро и хитро, его не успеют вычислить или не смогут распознать, что с ним что-то не так. опять таки, весьма вероятно, что враждебный ИИ будет сделан группой людей для своих корыстных целей. И они вполне одобрят его разрушительность.

[SpiegeLeisen]

насчёт самопроизвольности - увы, большинство комп. вирусов - а их сотни тысяч - сделаны людьми.

А меньшинство?? Караул!!! Дикий ИИ уже в Вашем компьютере!!!

 

[Nucleosome]

В самом деле - чем ИИ отличается от хакера? Оба разумны, оба способны к самосовершенствованию, но ещё не появился на свет человек, или коллектив, или корпорация, котоаря смогла бы за год заработать на биржевых спекуляциях триллион долларов. Почему ИИ это вдруг вот так сможет? Потому что он будет другой? Мало ли ли что другое... Любой мутант - он тоже другой - и что? А просто дело в том, что это не так просто так кажется - покорить мир. И не просто потому, что много кого этому мешают...
А как ИИ будет изготавливать пиво для админа это я не представляю... закажет на ближайшем заводе ля него ящик? А как он узнает, что админ приближается? Захватит рядом стоящую камеру? А если нет подключённых к интернету в том помещении где находится его жёский диск? Да и как он узнает, что админ идёт его раздолбать? Или Чубайс отключить? Так что препятствий на пути получается слишком много... В этом и состоит трудность завоевания мира

[turchin]

потому что Ии будет умнее хакера. на много порядков.

например, наполеон прошёл путь от нижнего чина до императора за несколько лет. за счёт cвоих мозговых способностей.

[T101]

Ну если так рассуждать, это можно уже сказать, что мы и сейчас подвластны ИИ, а все руководители государств - его наёмники

[Пенелопа]

потому что Ии будет умнее хакера. на много порядков.

например, наполеон прошёл путь от нижнего чина до императора за несколько лет. за счёт cвоих мозговых способностей.

Нижним чином он никогда не был -  начинал с офицерского чина.   Использовал он не только мозг для своего возвышения, время было смутное и быстрые карьеры были не редкостью,  потратил на это  более 15 лет и плохо кончил.

[SpiegeLeisen]

потому что Ии будет умнее хакера. на много порядков.

Ну и что? Возможностей у него будет не больше чем у любого пацана гробящего зрение за клавой. Что ж ему, бедолаге, с таким умищем делать?

Любой продвинутый ИИ, прежде чем ему доверят управление дивизией или хотя бы лампочкой в сортире, должен доказать свое соответствие техническим условиям, свою вменяемость наконец. Пройти приемо-сдаточные испытания, сдать экзамены. Только потом в него воткнут штепсель управления чем-нибудь важным.

ИИ созданные как инструмент будут иметь прав не больше чем люди, и только в зоне своей ответственности. Если ИИ управляющий трамвайным движением вдруг начнет подбирать код доступа на атомную станцию...

[turchin]

напрасно вы задаёте мне вопросы о том, что будет делать ИИ - я не ИИ, и он может быть гораздо умнее меня. я не могу предсказать его поведение.

любые мои идеи будут на уровне хакера, а не ИИ.

Вместе с тем, не сомневаюсь, что он может заработать определённые деньги на бирже, получить на некий счёт и нанять людей для своих целей.

точно также из того, что я не знаю, как вирусы прикрепляются к мембраном клеток, не следует, что вирусы невозможны.

[turchin]

ну так ИИ может оказаться в руках ЦРУ

[Алексей Шевченко]

Зачем такому существу - любопытному и дружелюбному - захватывать Землю и истреблять человечество, я не представляю.

А Вы вспомните фильм "Космическая одиссея-2001года". Там главный бортовой компьютер HAL-9000( установленный на американском космическом корабле) тоже был дружелюбен и любопытен...пока не свихнулся .

[SpiegeLeisen]

ну так ИИ может оказаться в руках ЦРУ

Может. И обязательно окажется. наряду с атомной бомбой, биооружием и еще кучей вредных вещей. Ну и что?

Когда будет наконец создан действующий ИИ - начнется точно такая же гонка за технологией, как в случае с бомбой в конце 40-х. И результат будет аналогичный - или чье-то мировое господство, или скорее всего вооруженный паритет. МАГАТЭ для ИИ придумают, будут у стран третьего мира компьютеры отбирать...

И ничего особенного не случится.