Вероятность гибели цивилизации в 21 веке

[Nucleosome]

есть термин универсальный ИИ - УИИ - который может решить любую задачу.

А зачем создавать такой и тем более наделять полномочиями захватытвать ресурсы? Пусть себе бегает где-нибуть на сервере, когда понадобится в реале - в материальную оболочку и собирает яблоке. Ведь он же не нужен сам себе, а нужен для решения опредлёных задач.

Скорее полезно задаваться вопрсом, а с какой стати ИИ должен быть дружественным.

Ну тогда нужно вопрос ставить иначе - зачем он нужен вообще. Если это действительно настолько серьёзная проблема. тем более ещё и лишать людей работы будет. нет уже такого нам не надо.

если кто-то не верит в реальность боевых нано-роботов,  спросите себя, зачем РФ выделила 5 миллиардов на проект в нанотехнологиях?

А что деньги выделяются только на оружие? Нанороботов моно использовать практически во всех областях - вот и ответ зачем.

[turchin]

какие области годятся для нанороботов - медицина, производство товаров народного потребления, война, государственный престиж.

Первые две в России в плачевном состоянии, и если бы была задача их улучшить, можно было бы начать с закупки лекарств, томографов, зарплат врачам. Это не особо происходит.

а вот с престижем да  - блоху подкуём и скажем, что  это  наноробот:)

***

искусственный интеллект, превосходящие человеческий, не замкнёшь в сервере - если он захочет, он хакнет любую защиту. так что если бы люди договорились и решили избегать опасных опытов с ИИ - оно было бы хорошо, но увы, этого не будет.

Более того, дружественный ИИ - наиболее реальный наш шанс справиться с прочими опасностями, перечисленными в этом топике.

[Nucleosome]

какие области годятся для нанороботов - медицина, производство товаров народного потребления, война, государственный престиж.

Первые две в России в плачевном состоянии, и если бы была задача их улучшить, можно было бы начать с закупки лекарств, томографов, зарплат врачам. Это не особо происходит.

Значит так получается: исследования и без того потрёпанные, отменить вовсе, и все деньги пустить на зарплату и закупку оборудования? Я думаю, что не все согласны с таким решением.

искусственный интеллект, превосходящие человеческий, не замкнёшь в сервере - если он захочет, он хакнет любую защиту. так что если бы люди договорились и решили избегать опасных опытов с ИИ - оно было бы хорошо, но увы, этого не будет.

Более того, дружественный ИИ - наиболее реальный наш шанс справиться с прочими опасностями, перечисленными в этом топике.

Так, в каком состоянии находятся работы по ИИ? Есть какие-то намёки на то, что он станет хакать защиты сам по себе и будет превосходить нас в ближайшее время? Также не ясно - ну хакнет он, но провод из розетки можно выдернуть и не полезет он в поле нашу пшеницу жрать или готовить нанороботов - это может быть если он влезет на производство, начнёт что-то производить по совему усмотрению, а ещё и получать от этого пользу. А как? Если он виртуальный, а продукция получится реальной?
Также, в нанотехнологиях только первые и весьма скромные шаги, как будут выглядить боевые наноробоыт, пока что кто бы то ни было представляет себе очень и очень плохо. Так что тут тоже получается необоснованный страх. Думается что и ИИ станет клепать верных ему и враждебных нам роботов и нанороботы станут боевыми значительно после того как иссякнет нефть, а это как ни крути, а подпитка и того и другого.

[turchin]

политику РФ в области здравоохранения обсуждать не будем.

Много групп в мире работают над ИИ, хотя он сложен как гипотеза Римана или теорема Ферма.(Обе недавно вроде бы доказаны, хотя тут бились тысячи одиночек сотни лет)
В том числе работают и над универсальным ИИ.
Google обещал сделать его через 3 года. Abbyy в России имеет огромную программу на этот счёт. Сказали, что потратили тысячу человеко-лет на проект.

В статье Юдковского, на которую я давал ссылку, объясняется, почему ИИ нельзя запереть в ящике и выдернуть вилку. Потому что  универсальный ИИ может разобраться в человеческой психологии и подкупить и-или обмануть человека, заставив его дать ему доступ в интерент. там ИИ может быстро заработать огромную сумму денег и подкупить (или шантажировать) нужных людей, чтобы они делали всё, что ему будет нужно.

то есть единственный споосб защититься от ИИ в ящике - это не давать ему никакой информации о внешнем мире и не получать никакой информации из него наружу. Тогда нафига его создавать? И как узнать, удалось ли его создать?

ИИ может командовать миров без помощи железных роботов и нанороботов. Уже есть достаточно эффективный робот - человек.

Что касается нанороботов - есть гипотеза, что сделать первого наноробота можно с помощью правильно запрограммированной бактерии. Чтобы программировать бактерии, нужно ввести в неё кусок новой ДНК.
Многие фирмы предлагают сейчас, пишет Юдковский, создание ДНК по высланному по электронной почте коду и в течение трёх дней с доставкой результата по почте.

Если знать правильный код, то вопрос изготовления наноробота - меньше месяца.

[Nucleosome]

политику РФ в области здравоохранения обсуждать не будем.

Не будем. просто я не вижу конструкции: субсидирование крупных сумм = прямые военные разработки.

Много групп в мире работают над ИИ, хотя он сложен как гипотеза Римана или теорема Ферма.(Обе недавно вроде бы доказаны, хотя тут бились тысячи одиночек сотни лет)
В том числе работают и над универсальным ИИ.
Google обещал сделать его через 3 года. Abbyy в России имеет огромную программу на этот счёт. Сказали, что потратили тысячу человеко-лет на проект.

что это за ИИ? Что они способны будут делать? На каком уровне находятс их текущие способности?

Что касается нанороботов - есть гипотеза, что сделать первого наноробота можно с помощью правильно запрограммированной бактерии. Чтобы программировать бактерии, нужно ввести в неё кусок новой ДНК.
Многие фирмы предлагают сейчас, пишет Юдковский, создание ДНК по высланному по электронной почте коду и в течение трёх дней с доставкой результата по почте.

Если знать правильный код, то вопрос изготовления наноробота - меньше месяца.

Да, есть такое - программировние генетических изменений бактерий, есть и интерференционная РНК, ещё читал статью о нанороботе, который должен доставлять нужную молекулу в раковые клетки. Синтезировать ДНК - простенькая задача, ерунад вообще, но это совершенно не означает, что синтезировать вирус с заданными свойствами - плёвое дело если мы умеем синтезировать ДНК. Синтезировали, получили такую вещь:
AAACCTGGTACTGTAAAACCGTTGGACCTGGTACAATCTTTCG
и так далее... И что?
А ничего. никто не синтезирует НК просто так - препочитают клонирование - так хоть знаем, что делаем, а вот по последоватеьности ДНК опредлять свойства организма, который получится из этой ДНК ещё не умеем, и достижение этого не пара-тройка лет - между этим и современными знаниями пропость. ИМХО, преодолеть её с помощью ДНК невозможно вовсе... есть эпигенетика.

[turchin]

трудно предсказывать, что будет делать ИИ в смысле генетики, так как он по определению будет умнее как меня, так и всех современных биологов, вместе взятых.
речь шла о том, сможет ли ИИ создать наноробота. и предлагался один из способов, которым он может это сделать.

Опять же, проблема с обсуждением Ии в том, что наше знание о нём ограниченно. Неизвестно, будут ли его способности возрастать линейно, или возрастут бесконечно после прохождения погрога эффективного самообучения.

неизвестно, публикуются ли самые лучшие разработки, и какие именно разработки являются ключевыми.

Поэтому из того что я не знаю, как сделать ИИ, не знаю, возможен ли он, и не могу точно сказать, что он будет делать, не следует, что он невозможен и не опасен.

[turchin]

Я создал опрос на форуме по искусственному интеллекту о безопасности ИИ. посмотрим, что думают об этом люди, всерьёз его создающие.
http://forum.aicommunity.org/viewtopic.php?p=39406#39406

Является ли ИИ безопасным:

да, потому что ИИ невозможен

да, потому что Ии может решать только узкие задачи, вроде распознания образов

да, потому что когда мы сделаем универсальный ИИ, мы введём в него 3 закона роботехники Азимова

да, потому что его создам я, покорю весь мир с его помощью и создам царство всеобщего благоденствия.

да, потому что Ии будет обладать сверхчеловеческой мудростью и не хахочет причинять вреда людям

да, потому что он будет заперт в моём компьютере, и если что-то пойдёи не так, я выключу электричество.

да, потому что у ИИ не может быть своей воли.

да, потому что он не может сделать ничего плохого.

Нет, ИИ может быть опасен, но, скорее всего, всё обойдётся.

Нет, ИИ опасен, и мы все обречены

[Nucleosome]

Ну посмотрим, что там скажут. Я так прочитал - пока никто не говорит - да, все от Него помрём! Один написал, что применения ИИ опасны - ну так применения всего опасны.
Вот вроде к теме, час назад посмотрел "Культурную Революцию" тема была:
АЭС представляют опасность для цивилизации (каково а?)
Впечатление э-э-э... а-а-а... У-у-у!!! Наверное Я признаться такой отборный бред может только в предвыборных лозунгах встречал. А ведь один каниддат философских наук это порол, среди нескольких других. Артистов там, писателей... Ну я понимаю, что не специалисты (были и такие, они были адекватны), но надо же чуть-чуть руководствоваться фактами и реальностью, а не пороть чушь всякую типа того что "кусок Земли заражён" (про Чернобыль). И что интересно, никто не сказал, что реальных альтернатив АЭС нету... А от нефти угля и газа вреда локально пожалуй даже больше. Было утверждение вскользь, что когда в Армении отключили АЭС как раз деревья, за которые так её противники радовали и оказались вырубленны. Обидно просто, что люди вроде не пациэнты психушки, а интеллигенция так сказать, а может настолько отключать мозги...

[turchin]

если бы террористы 11 сент направили бы все свои самолёты на атомные станции, вероятно, перспективы атомной энергетики бы сейчас воспринимались иначе.

даже самая примитивная атомная бомба, будучи взорванной на АЭС, в лучшем случае распылит все радиоактивные матриалы, в ней накопленные, а в худшем спровацирует их наработку или даже детонацию:(

При этом хотелось бы сказать, что большая часть массы чернобыльского реактора не распылилась, а осталась лежать в саркофаге.

И что косвенные экономические последствия такого взрыва будут хуже, чем прямые экологические. Например, в Гайане (?) в Южной Америке дети однажды рассыпали, кажется, радиоактивный цезий из медицинского прибора на улице, никто не пострадал особо, но иностранцы стали бояться ездить в Гайну, и в следующий год экономика страны упала на 30 процентов!

[Nucleosome]

Думаю, что если бы 11 сентября на метсе близнецов оказалась бы АЭС, то вообще ничего бы не случилось - там-то всё-таки защита кое-какая имеется. Сброшенная атомная бомба это вообще катастроффа, и не обязательно на АЭС... Но там чушь шла типа того, что мол одна поломка на АЭС - и усё - прощай цивилизация, здравствуй радиоактивная свалка. Не знаю где такую траву народ берёт. Швыдкой на них что ли галюциногены пробует перед передачей?

[turchin]

http://www.eco.com.ua/cgi-bin/index.cgi?id=412

вот здесь небольшая дискуссия о том, может ли самолёт повредить АЭС:

"Эд Лайман, научный директор Института ядерного контроля (США) считает, что современные АЭС рассчитаны на то, чтобы выдержать “случайное” падение, а не нацеленный удар самолета. Джон Лардж, независимый консультант по ядерным вопросам, говорит, что некоторые из британских АЭС были построены 40-50 лет назад, когда никто даже помыслить не мог о торпедировании атомной станции пассажирским авиалайнером. Кроме того, на момент проектирования этих блоков самолеты были гораздо меньше и несли меньше топлива, чем сейчас."

[Nucleosome]

так 40-50 лет назад была холодная война со всеми вытекающими последствиями. Неужели это не принемали в расчёт?
Кроме того, если на месте близнецов поставить химический завод, который ещё и в отличае от АЭС стоит часто весьма близко к городам, то эффект от попадания самолёта тоже будет хороший. Уж там-то защиты от самолёта точно нет. И что теперь - закрываем химическое производство?

[turchin]

Закончил перевод статьи:

"Сингулярность и кошмары".
Дэвид Брин
http://www.proza.ru/texts/2007/05/14-31.html

В ней рассматриваются четыре сценария развития человечества в 21 веке, в том числе катастрофический.

[Mars]

Кстати некоторые кАСТРОЛОГИ на "конец света"(декабрь 2012) пророчат мировую ядерную войну! Так что роем бункера и могилы

[Nucleosome]

Почему-то говоря про сингулярность, забывают о том, что технологическое развитие происходит не само по себе, а движим его мы, и имеются силы, его движущие - то есть востребованность новшеств. В последние лет 50 цивилизация в развитии некоторых технологий сделало большой скачёк, но это же не значит, что он будет также продолжаться - с тем же успехом, глядя на рост бактериальной культуры можно утверждать, что она грозит катастроффой - там тоже есть стадия экспоненциального роста, но тем не менее колония не заполняет даже всё чашки.
А 2012 год - да-а-а... готовят апокалипсис. Я думаю лучше не бункеры, а ехать куда-нибуть вроде Кергелена. (правда он маленький, кушать там особо нечего, все не поместятся)

[Mars]

А 2012 год - да-а-а... готовят апокалипсис. Я думаю лучше не бункеры, а ехать куда-нибуть вроде Кергелена. (правда он маленький, кушать там особо нечего, все не поместятся)

Я конечно в астрологию мало верю, но как говориться чем чёрт не шутит. Подобрал места на планете в которых лучше всего будет укрываться в случае ядерной войы в 2012(?) году . Это Кергелен, Огненая земля, Юг Новой Зеландии, О-ва Фиджи, и южная часть океании. Эти места вряд ли будут мишенями ядерных ударов, да и облака от ядерных пожаров вряд ли туда долетят. Так что если ядерная войнушка  в 2012 случится АСТРОфест проводим там

[Nucleosome]

Амазонские джунгли тоже, наверное, сойдут, или Новая Гвинея, хотя от этих мест большие города не так далеко, может и долететь чего.

[Юрий_К]

[Подобрал места на планете в которых лучше всего будет укрываться в случае ядерной войы в 2012(?) году . Это Кергелен, Огненая земля, Юг Новой Зеландии, О-ва Фиджи, и южная часть океании. Эти места вряд ли будут мишенями ядерных ударов, да и облака от ядерных пожаров вряд ли туда долетят. Так что если ядерная войнушка  в 2012 случится АСТРОфест проводим там

А кто вас там кормить будет в этих райских местах? Вообще в условиях глобальных кризисов цена отдельной усредненной человеческой жизни падает до нуля. Так что вряд ли кто-то будут куда-то кого-то вывозить самолетами. Максимум на что можно расчитывать так это на самопальную землянку с продуктовым складом где нибудь рядом с родным мегаполисом...

[Mars]

[Подобрал места на планете в которых лучше всего будет укрываться в случае ядерной войы в 2012(?) году . Это Кергелен, Огненая земля, Юг Новой Зеландии, О-ва Фиджи, и южная часть океании. Эти места вряд ли будут мишенями ядерных ударов, да и облака от ядерных пожаров вряд ли туда долетят. Так что если ядерная войнушка  в 2012 случится АСТРОфест проводим там

А кто вас там кормить будет в этих райских местах? Вообще в условиях глобальных кризисов цена отдельной усредненной человеческой жизни падает до нуля. Так что вряд ли кто-то будут куда-то кого-то вывозить самолетами. Максимум на что можно расчитывать так это на самопальную землянку с продуктовым складом где нибудь рядом с родным мегаполисом...

А как тогда на необитаемых островах люди выживали?

[Юрий_К]

А как тогда на необитаемых островах люди выживали?

Выживали ценой огромного труда+определенных полезных жизненных навыков(умели делать многое собственными руками). Я думаю, что обычный городской житель будет обречен на Н.острове на голод(как минимум)...
Кста, как вы доберетесь до необ. острова?