Вероятность гибели цивилизации в 21 веке

[Nucleosome]

Это приход мессии на современный лад?

[turchin]

даже нескольких мессий и затем выяснения отношений между ними.

[Pilgrim]

   Все нынешние разговоры о возможности появления ИИ не имеют смысла, пока не созданы нейропроцессоры, в которых "электронные нейроны" исчислялись бы триллионами и они бы работали абсолютно параллельно! Современные нейросети, моделируемые даже на самых мощных кластерах _далеко_ не тянут по количеству нейронов и тем более быстродействию, даже на мышиный мозг. А мыши тем не менее не смотря на миллиардные мутации до сих пор "опрометчиво" не воспринимаются, как угроза миру! А ведь опасность, что одна из них поумнеет и создаст разумную цивилизацию, гораздо выше, чем сценарий с ИИ.

   Современные компьютеры можно считать _не_живой_ виртуальной средой, то есть в ней возможны закономерные процессы-программы (как химические реакции и з-ны физики в не реальном мире), но _жизни_ нет.

   На Земле от момента, когда появился океан и условия для зарождения жизни ("первичный бульон") прошло лишь несколько сотен миллионов лет. От первой жизни до позвоночных - около 2-х миллиардов лет, и еще 1 - 1.5 миллиарда до появления разума. Предполагать, что "виртуальная" жизнь, находясь во враждебной и конкурентной (с нами) среде образуется сразу как _разумная_ - нонсенс.

   Это все равно, как если бы из "первичного бульона" сразу вылез "случайно образовавшийся" разумный человек с ноутбуком подмышкой (с библиотекой всей земной литературы и науки), отряхнулся и начал строить высокотехнологичные заводы и фабрики, покорять природу.

   Не будет у ИИ тех триллионов поколений для развития из примитивных форм до разума. Риск появления сверх разума у тех же обезьян на много порядков более серьезный, и все равно представляется смешным и не опасным на данном этапе развития человечества.

Мое короткое ИМХУ - ИИ умнее нас не быть никогда.

ИИ может стать компаньоном в освоении других звездных систем, он даже может быть самовоспроизводящимся, самодостаточным и генетически развивающимся. Но доминировать он сможет лишь через миллиарды лет, и лишь в случае если мы себя угрохаем другими, совсем не связанными с ИИ методами.

[Nucleosome]

Pilgrim - Позвонончным около 500 млн. лет, в остальном согласен.
В принцыпе нет ничего чтобы указывало на то, что три-четыре миллиарда лет - это необходимый минимум для достижения разумного существа, но с другой стороны у электронных сетей в отличае от Первичного океана, есить высший организатор - то есть мы, которые вовсе не заинтересованы в распространении в них всяческих самореплицирующихся элементов, да ещё и эгоэстичных и амбициозных.
Правда, утверждается, что ИИ в деле уничтожения нас мы поможем сами, но уже тут писали, что нынешнии ИИ делаются для решения опредлённых задач, а уметь грамотно подметать улицу для того чтобы захватить власть хотя бы на ней не говоря о мире - мало.

[SpiegeLeisen]

Это приход мессии на современный лад?

deus ex machina
 

[turchin]

сравнения со скоростью развития живых существ и ИИ - не работают, так как мы можем наблюдать гораздо более быстрый рост технического совершнества - закон мура - за счёт принципиально дргого механизма решения творческих задач - не естетсвенного отбора, а целенаправленного конструирования.

разные оценки, с которыми я согласен, предполагают, что моделирование мозга станет возможно, когда число транзисторов ( или число операций) достигнет 10**15  степени. (примерно равно числу нейронов умноженному на число аксонов у каждого) Это огромное число примерно соотвествует миллиону современных персоналок. теоретически реально объединить миллион машин в сеть и заставить работать над общей задачей. гугль, кторый поставил цель создание ИИ через три года, обладает такой вычислительной силой. тоже касается и сверхкомпьютеров - их производительность приближается к 10**15.

Технические решения (работающие образцы процессоров) с 80 ядрами уже готовы, и должны внедрятся через 2-3 года, есть идеи и о том, как продолжать закон мура в ближашие десять лет - это означает увеличиение вычислительной мощности в тысячу раз при той же цене. то есть через 10 лет уже тысяча персоналок будет сравнима с мозгом по вычсилительной силе - и стоить будет меньше миллиона долларов.

Но возможно, что мозговой алгоритм можно оптимизировать, резко скоратив число необходимых вычислений. например, швейцарцы работают над моделью нейроколонки. - и когда её смоделируют, хотят выпускать её аппаратно.

Поэтому, если нас волнует безопасность Ии, нам следует исходить из наихудшего предположения - что уже сейчас есть вычислительные силы для него. если нам хочется успокоить себя, то надо исходить из наилучшего предположения о том, что он вообще невозможен.

Хотя без дружэественного ИИ , возможно, не справится с другими проблемами.

[Nucleosome]

Так в том-то и дело, что есть принципиальная разница - живое как раз и развивается в направлении захватить как можно больше ресурсов и покорить всю планету - так диктует естественный отбор, просто из-за того, что подобных желающих слишком много, ни у кого этого ещё не получилось (ближе всего стоит вид Homo sapience, но он выбрал какой-то несколько кривой путь развитие постави своё могущество в полную зависимость от достаточно эфемерных ресурсов, поэтому ничего у него не выдет, что уже понятно). ИИ же развивается целенаправленно - но не в этом направлении, а совсем в ином - как слуга, помошник, но не завоеватель, поэтому пусть его развите идёт и многократно быстрее, чем живого, но во-первых численность элементов "думалки" - ещё не всё - скажем у вороны таковых значительно меньше, чем у синего кита, а она значительно умнее - то есть важна их конфигурация, а во-вторых учитывая разность направлений, он просто не тому служит...

[turchin]

я думаю, что в отношении ИИ тоже действует своеобразный "естественный отбор": тысячи ИИ будут создавать с хорошими целями и для ускоспециализированных применений, а потом наёдётся какой-нибудь деятель и создаст ИИ универсальный, нацеленный на рост и жаждущий ресусров. и именно этот ИИ шире всего и распространится.

Тоже и комп. вирусы - только самые эффективные из них заражают пол интернета.

[Nucleosome]

если в отношении ИИ также будет действовать ественный отбор, то ему потребуется тоже время порядка миллиардов лет, чтобы так поумнеть. кроме того, его будет ограничевать та причина о которой писал Т101 - и я немного: поскольку компьютерная программа это не совокупность мутаций, а изначально сооружённая система с заданной целью, то вероятность для неё "полезной" мутации значительно меньше, чем для организма, у которого нет ни цели кроме пложения самого себя, ни изначально данного плана строения.
И ИИ нацеленный на рост и поглощение ресурсов - во-первых явно потребует слишкм сложной и долгой разработки (и стукнут по нему топором значительно быстрее), а во-вторых, где гарантия, что он станет таким эффективным? Уже говорили же о том, что как тяжело захватить мир...

[Olweg]

Меня удивляют такие оценки времени, нужного для эволюции ИИ. Какие миллиарды лет?? 100 лет назад не было ни компьютеров, ни антивирусов, ни экспертных систем. Эволюция будет происходить при непосредственном участии человека и в совершенно иных условиях, чем биологическая. Одно условие: для этого нужна конкуренция, коммерческая или военная. Иначе будет, как с Windows
ИИ сделал недопустимое, выполнил невыполнимое и... будет закрыт? 

[SpiegeLeisen]

Эволюция будет происходить при непосредственном участии человека и в совершенно иных условиях, чем биологическая. Одно условие: для этого нужна конкуренция, коммерческая или военная. Иначе будет, как с Windows
ИИ сделал недопустимое, выполнил невыполнимое и... будет закрыт? 

Если человек вдруг забудет идею создать ИИ, и будет продолжать клепать тупые файлы с набором команд, то для само-эволюции жизни в компьютерных внутренностях эти миллиарды лет и потребуются. Но человек будет пытаться, и однажды у него что-то получится...
Уже создаются и используются отдельные составные элементы ИИ, с которыми, как с аминокислотами и белками, вероятность самозарождения жизни уже не так невероятна.

[turchin]

написал длинный текст на грани политики...

**

Лет десять назад я написал текст "ядерный терроризм vs. компьютерный тоталитаризм". 11 сент. и последующее укрепление мер безопасности в США подтвердило концепцию - о том, что придётся выбирать между жесточайшей диктатурой или полным хаосом и разрушением.

После 11 сент. все задворки ойкумены поросли плесенью теории заговора о том, что вдова сама себя высекла. (Которая готова отвергнуть миллион сообщений, но поверить одному свидетельству некого безымянного очевидца, что всё было не так. а такие всегда находятся.) см. последние статьи киви-голубицкого в компьютерре.

Однако полезно искать рациональное зерно в теориях, которые не нравятся.

А именно, в альтернативе  "ядерный терроризм vs. компьютерный тоталитаризм"
оба варианта несут угрозы существования человечеству, а не только один.

Одни видят главную угрозу в "мировом правительстве итд" и зовутся антиглобалистами, другие видят угрозу в "аль каеде итд" и зовутся борцами с террором.

очевидно, что эти две силы взаимодополняют друг друга. Чем больше борьбы с терроризмом, тем больше террористов, и наоборот.

В смысле нанобиоИИ угроз лучше всего продуман вариант, что именно террористы первыми завладевают неким абсолютным оружием и сеют разрушения. Но государства тоже не дремлют. Государствам не нужно всеобщее разрушение, но борьба за мировое господство у них в крови. 
И в некотором смысле они к этой цели ближе - так как огромные ресурсы у них в руках уже есть.

То есть возможен вариант, продвигаемый Голубицким, что - ИИ не проснётся вдруг у хакера Васи в компьютере за тумбочкой, а огромное государство настолько срастётся со своими средствами слежения, оружием и системами внутреннего контроля, что в одно утро все поймут, что оно полностью автономно - даже от своего президента. И возможно, это уже произошло.

Критерием этого будет момент, когда окажется, что ни один человек ничего не решает. (А мнение парламента является манипулируемой функцией некоторых обстоятельств). Мы живём надеждой на то, что П. и Б.:

а) понимают, что происходит,
б) имеют некий реальный выбор стратегии, может не лучший, но зависящий от их произвола.
в) имеют людей-советников, от которых тоже имеют реальный выбор.

Но ещё Александр Первый сказал, что (по памяти)... "народ думает, что я управляю Россией, но её управляют 30 000 статских советников."
увы, приятнее думать, что тобой управляет человек, чем самосовершенствующийся набор инструкций.

Понятно, что имеет место, и то, и другое, но также понятно, что количество личного произвола каких-либо людей в судьбе современных государств убывает. Вопреки идеям демократии.

Остаётся произвол предсказуемый - что все чиновники среднего уровня не против взять взятки, скажем. Но это уже не произвол, а функция системы.

Далее, произвол становится невозможен, когда предсказуемость будущего нулевая. Потому что тогда – несмотря на наличие прекрасного плана – в результате это будут просто хаотические действия, вроде полёта мотылька – которые могут принести его к самке, а могут и в костёр.

Лев Толстой продвигал подобную концепцию относительно Наполеона – войны были не результатом личного произвола великого Наполеона, а естественным результатом сложения тысяч маленьких усилий отдельных людей, в которых Наполеон был только одним из факторов. Вопрос сложный. Мог ведь Наполеон упереться рогами в землю и сказать – нет, не пойду войной на Россию?

Но вряд ли современному президенту так просто позволят распоряжаться ядерной кнопкой. А вдруг у него случится истерика, и он решит покончить собой? Или отомстить всем за всё? А если так, то психованные президенты  гораздо опаснее ядерных террористов. И ведь ни один человек, даже самый хороший, не застрахован от внезапного психического расстройства. Более того, ему могут подмешать некого яду, вызывающего нервный срыв враги.
И поэтому, вероятно, есть некая система мажоритарного контроля над оружием массового поражения, которая засекречена. Но если начало войны решает некая группа людей, по некой инструкции, то это уже не человеческий произвол, а конечный автомат. Для такого автомата, хотя он и состоит из людей, отдельные люди не представляют ценности – они заменимы. Как для многоклеточного – клетки.

И вообще организация, действующая по уставу, мало чем отличается от искусственного интеллекта, действующего по правилам нормативной этики. Обычно эта бесчеловечность организаций уравновешивается человеческим фактором – распутством руководителя альфа-самца, взяточничеством на местах, нервными срывами секретарш, двойной бухгалтерией.

Однако, по мере того, как организация обрастает управляющими и следящими компьютерами, она всё ближе приближается к своему уставу. И людям всё труднее реализовывать неуставные отношения для того, чтобы срезать те углы, которые устав не описывает адекватно. А по теореме о неполноте, такие углы всегда найдётся.

При этом современное государство столь сложно, что ни один человек не понимает (правильно), что же на самом деле в нём происходит и куда оно едет, а особенно – зачем.

Вывод. Мы имеем неприятную альтернативу. Либо мы зависим – в смысле начала угрожающей человечеству войны - от психического здоровья одного президента. Точнее, не одного, - а десятка стран, располагающих оружием массового поражения. А поскольку такое состояние длится десятки лет, то вероятность внезапного сумасшествия правителя не мала. Причём внешне это может быть не заметное сумасшествие, а некая цепь ошибочных решений или паранойа.  (Возможно, нападение Саддама на Кувейт было таким импульсивным поступком. Да и Гитлер был весьма сумасшедшим.)

Либо государство целиком управляется некими инструкциями. Которые по мере развития хай-тека становятся бесчеловечными формально (хотя могут провозглашать благо людей – но подвох в том, что «благо» и «люди» могу определяться по-разному). И которые становятся всё жёстче – их власть не свергнуть. И они конвергируются с компьютерными сетями, базами данных, системами вооружений. И конечно, они должны защищать себя, безличный «конституционный порядок». Более того, они конвергируются с наукой – творческий интеллект выносится как функция в периферию. Так агентство DARPA просто формулирует заказ на новые технологии – а уж как разные фирмы будут за него бороться, как будут его мозговать – не важно. При этом такой сценарий остаётся полностью неосознанным для клеток-исполнителей (людей), так как автономность государства – это нечто, что было впитано с детства. Мы уже внутри зреющей Матрицы-Терминатора, и для самых развитых государств эта метаморфоза прошла точку необратимости – и может быть, давно. Кино обмануло нас: Матрица приходит к власти не в ходе революции и ядерной войны, а тихой сапой, эволюционно.

[SpiegeLeisen]

И вообще организация, действующая по уставу, мало чем отличается от искусственного интеллекта

Что верно то точно...

У нашего общества есть тенденция свалиться в "демократический тоталитаризм", когда все-все процессы регламентированы законами, инструкциями и лицензиями. Получается - конечный автомат, в котором люди не принимают решения, а выполняют роль отдельных транзисторов в процессоре, или отдельных атомов в клетке... И ни от кого по отдельности ничего не зависит. И никто не в состоянии изменить общий алгоритм - инструкцией такое не предусмотрено, даже для Президента.

Такая конструкция не подходит под определение "Искусственный Интеллект", скорее - глобальный живой организм. Которого собственные интересы волнуют больше чем судьбы отдельного атома. Организм, созданный руками людей, но не по воле людей.
Хотели как лучше...

Разумен ли будет такой организм? Что-то сомнительно...

[Юрий_К]

Как мне кажется, настоящее раздолье в применении ИИ - исследование космоса. И если заложить в ИИ любовь к познанию и кайф от получения новой информации, то это будет прекрасный инструмент (или сотрудник, как кому больше нравится) для исследований как Солнечной системы, так и Вселенной в целом.
Зачем такому существу - любопытному и дружелюбному - захватывать Землю и истреблять человечество, я не представляю.

Единственная опасность с ИИ, это если нанотехнологичный ИИ зонд вместо исследования пространства построит свою цивилизацию где-нибудь в полном ресурсов астеройдном поясе и оттуда начнет свою экспансию на землю. Хотя, по мне так больше верится, что такой ИИ если и построит какие-то свои механистические платформы, то лучше полетит заселять другие звезды Галактики нежели возится здесь в Сол. системе... Он же будут любопытным этот звездный ИИ..

[SpiegeLeisen]

Единственная опасность с ИИ, это если нанотехнологичный ИИ зонд вместо исследования пространства построит свою цивилизацию где-нибудь в полном ресурсов астеройдном поясе и оттуда начнет свою экспансию на землю.

ИИ типа "исследователь" обязательно будет иметь встроенный запрет на вмешательство в наблюдаемые процессы. Даже если сбрендит - будет выдавать бредовые теории, только и всего.

Опасен ИИ "терраформирователь", у которого в крови все переделывать. Если ошибется адресом, тогда держись... 

[Nucleosome]

У нашего общества есть тенденция свалиться в "демократический тоталитаризм", когда все-все процессы регламентированы законами, инструкциями и лицензиями. Получается - конечный автомат, в котором люди не принимают решения, а выполняют роль отдельных транзисторов в процессоре, или отдельных атомов в клетке... И ни от кого по отдельности ничего не зависит. И никто не в состоянии изменить общий алгоритм - инструкцией такое не предусмотрено, даже для Президента.

Конечно есть - с тех пор как были написаны первые законы этот процесс всё углубляется и углубляется... делу ещё спсобствовало разделение труда, а затем индустриализация. мешают ему только катаклизмы, которые переодически разрушают предыдущие накопления и строят новые. Поскольку общество, управляемое более-менее всеми признанными правилами оказывается гораздо менее стабильно к катаклизмам, чем более автократические сообщества, именно по этой причине никогда не будет чисто "законного" общества - да и оно будет неспособно к переменам - только к предусмотренным законом, поэтому и нежинеспособно на больших интрвалах, но затой очень эффективно на коротких стабильных дистанциях.

[fyunt]

Вывод. Мы имеем неприятную альтернативу. Либо мы зависим – в смысле начала угрожающей человечеству войны - от психического здоровья одного президента. Точнее, не одного, - а десятка стран, располагающих оружием массового поражения. А поскольку такое состояние длится десятки лет, то вероятность внезапного сумасшествия правителя не мала. Причём внешне это может быть не заметное сумасшествие, а некая цепь ошибочных решений или паранойа.  (Возможно, нападение Саддама на Кувейт было таким импульсивным поступком. Да и Гитлер был весьма сумасшедшим.)

Офигеть! Впервые встречаю челдовека, который, на полном серьёзе считает что некий президент может свихнуться и начать войну!!! Типа - нажал кнопку и нету Америки ... 
turchin, про кнопку это анекдот! На самом деле всё очень-очень сложнее.

[turchin]

 fyunt,

я написал либо - либо.
это не тоже самое, что "уверен на полном серьёзе", как раз наоболрот, я думаю, что в основных ядерных державах решение коллективное и механизированное. Но в ряде стран, недавно полчивших ЯО, это может быть не так.

[Пенелопа]

Офигеть! Впервые встречаю челдовека, который, на полном серьёзе считает что некий президент может свихнуться и начать войну!!! Типа - нажал кнопку и нету Америки ... 
turchin, про кнопку это анекдот! На самом деле всё очень-очень сложнее.

     Да, один президент принимает решение только в голливудских фильмах, и то не во всех.

[turchin]

Ну, решение применить ядерное оружие было только однажды.
и, вероятно, то, как именно принимаются такие решения является одним из важнейших государственных секретов, так что трудно что- то сказать наверняка.
Далее, есть две принципиально разные ситуации: решение об атаки первым - которое можно обсуждать месяцами, и решение об ответном ударе, на который есть только четыре минуты.

Все три варианта имеют свои недостатки:

автоматическая система "мёртвая рука" - чревата ложным срабатыванием или несрабатыванием.

коллективное решение неээфективно тем, что требует времени, более уязвимо к утечкам информации, затем, в критический момент кого-то может не оказаться на месте. Или он может быть выведен из строя (то есть больше уязвимых элементов управления). если решение принимается голосанием, то возможна ситуация, когда есть несколько голосов за и против -  и тогда главный всё равно должен решать сам. если система действий группы полностью алгоримизована, то это приближается к "мёртвой руке" - и получается ситуация, когда никто не хочет войны, никто за неё не отвечает, но должен по инструкции нажать на кнопку.

индивидуальная система - всё решает президент. Уязвима как к внезапному сумасшествию президента, так и к тому, что он может выйти из стороя и ему нужен дублёр. и не один. А если есть дублёр, то возможна ситуация, когда один из них принимает одно решение, а другой - другое.