Телескопы покупают здесь


Голосование

что может нас уничтожить?

искусственный интеллект
32 (4.7%)
серая слизь нанороботов
16 (2.3%)
биологическое оружие
25 (3.7%)
исчерпание ресурсов
65 (9.5%)
коллайдер
10 (1.5%)
падение астероида
58 (8.5%)
seti-атака
3 (0.4%)
иизвержение сверхвулкана
19 (2.8%)
гамма-всплеск
16 (2.3%)
отключение матрицы
27 (4%)
НЛО
8 (1.2%)
перенаселение
32 (4.7%)
ядерная война
139 (20.4%)
прекращение защиты, который нам давал антропный принцип
11 (1.6%)
вспышка на солнце
23 (3.4%)
потеря интереса
39 (5.7%)
ничего
73 (10.7%)
что-то другое
86 (12.6%)

Проголосовало пользователей: 634

A A A A Автор Тема: Вероятность гибели цивилизации в 21 веке  (Прочитано 405962 раз)

0 Пользователей и 2 Гостей просматривают эту тему.

Оффлайн turchinАвтор темы

  • *****
  • Сообщений: 1 338
  • Благодарностей: 11
    • Сообщения от turchin
Re: Вероятность гибели цивилизации в 21 веке
« Ответ #1900 : 09 Сен 2007 [02:28:11] »
Уважаемый fyunt, скажите, читали ли вы переведённую мною статью Юдковского "Искусственный интеллект, как позитивный и негативный фактор глобального риска".
http://www.proza.ru/texts/2007/03/22-285.html
Я рекомендую этот текст всем, у кого возникают вопросы о том, возможен ли ИИ и опасен ли он.
Структура глобальной катастрофы.
http://avturchin.narod.ru/sgk31short.doc

Nucleosome

  • Гость
Re: Вероятность гибели цивилизации в 21 веке
« Ответ #1901 : 09 Сен 2007 [15:46:25] »
fyunt - согласен практически по всем пунктам кроме некоторых моментов - нет данных о том, что сознанеи остаётся неизменным на протяжении времени, поскольку мы не знаем как мерить изменноть или неизменть этого. Можно практически точо сказать, что мало изменяется, но некие перемены вполне могут быть, и тут мы так или иначе сталкиваемся в проблемой о том, что етсь или нет эволюции человека. Если подходить стого формально, то не может бть, что нет- потому как етсь такая штука как генетический дрейф, и ничето ему не мешает менять ителект, точнее его генетические предпосылк. Ну это уже офф-топ явно... (воспрос эволюционирует ли ещё человек, я считаю, что да и не только посредством дрейфа) Второй пункт - не появится гений подобный Эйнштейну в каменном веке - гениоальность, ну это моё ИМХО, вещь зависищая от обстоятельств - то етсь должен быть с одной стороны подходищй, ну скажем генетически, но с другой стороны должны быть факторы среды, которые могут быть "поставлены" на это. Косвенное подтверждение этому - то есто гении появляются пачками - Эйнштейн был лучшим среди прочих великих физиков - потому как было подходящее с точки зрения накопленной информации, время. Сейчас ясвно оно не очень походит... Хотя наверняка спсобные видимо даже на уровне Эёнщтейна и есть, но у них нет точки приложения, куда они могли бы направить свои возможности, потому не появляется "гениев".

Оффлайн fyunt

  • *****
  • Сообщений: 1 583
  • Благодарностей: 68
  • Я знаю что многого не знаю. Мне достаточно ...
    • Сообщения от fyunt
Re: Вероятность гибели цивилизации в 21 веке
« Ответ #1902 : 09 Сен 2007 [16:11:51] »
Уважаемый fyunt, скажите, читали ли вы переведённую мною статью Юдковского "Искусственный интеллект, как позитивный и негативный фактор глобального риска".
http://www.proza.ru/texts/2007/03/22-285.html
Я рекомендую этот текст всем, у кого возникают вопросы о том, возможен ли ИИ и опасен ли он.
Вообще-то в приведённом Вами тексте по поводу возможности создания ИИ ничего нет. И по поводу опасности лишь только абстрактные рассуждения. Это и понятно – год написании 1993-й – то есть автор знаком с работами Пенроуза и знает чем закончилась  дискуссия по этому поводу. Поэтому Юдковский очень прагматично избегает даже постановки вопроса о сознании – никому не хочется выглядеть стоеросовым.
В результате жаркой полемики научное сообщество признало правоту Пенроуза и были сделаны выводу что создание ИИ может быть только в результате радикального и концептуального пересмотра основ физики – а до этого сейчас очень далеко. Нынешние основы пока выглядят непоколебимыми.
Turchin, на сегодняшний момент нет сколько-нибудь серьёзных научных исследований на предмет создания ИИ – зато много коммерческих. Энтузиасты что-то там пытаются – и конечно же усиленно рекламируют свои «достижения» - это называется борьбой за гранты.
Сам Пенроуз осторожно предположил, что построение ИИ может быть связано с квантовыми процессами и поэтому сейчас очень многие ожидания связаны с созданием Квантовых компьютеров. Но даже если они будут созданы – вопрос создания ИИ – это что называется вилами по воде писано.
Что бы хоть немного ознакомится с предметом о котором идёт речь почитайте этот материал: - http://www.znanie-sila.ru/online/issue_2820.html
Хотя лучше всего ознакомится с первоисточником – у меня есть на бумаге – но книжка Пенроуза есть и в сети. Здесь можно скачать: - http://www.koob.ru/penrose/
Трудное, но очень любопытное чтение – и познавательное. А если учесть что этой книгой Пенроуз закрыл целое направление исследований, так вдвойне интересней прочитать.
С уважением fyunt.
На Форуме запрещено: 3.1.
а) оскорблять чужое достоинство;
д) высказывать свои политические убеждения и оспаривать политические убеждения оппонента;

Оффлайн fyunt

  • *****
  • Сообщений: 1 583
  • Благодарностей: 68
  • Я знаю что многого не знаю. Мне достаточно ...
    • Сообщения от fyunt
Re: Вероятность гибели цивилизации в 21 веке
« Ответ #1903 : 09 Сен 2007 [18:01:50] »
Про искусственный интеллект – часть 3

Продолжу допущения. Проявим очередной «оптимизм» – пусть ИИ не только создан, но и как личность обладает сознанием несоизмеримым с сознанием современного человека – его сознание абсолютно неподобно – то есть ждать от него можно чего угодно. А как всем ясно, когда говорят что ждать можно чего угодно – ждать приходится какой-нибудь пакости. В нашем случае под пакостью подразумевается захват искусственным интеллектом власти на Земле. Ну ли полное уничтожение рода людского. Ну или вообще уничтожение жизни на нашей планете.
На кой ляд это ему надо, спрашивается? Ответ один – надо и всё тут - и излишние вопросы тут неуместны.
Но всё же задавать вопросы приходится!
И первый вопрос (и главный): - КАК?
Вот он – стоит в углу ящик со шнуром розетке – подмигивает светодиодами. Как же он умудрится власть-то захватить?
Ответ: - НИКАК!
Возьмем случай более тяжёлый – случилось чудо ненаучное и всемирная паутина стала ИИ – сидим мы перед маниторами  - а в системном блоке у нас аж сам ИИ поселился.
Ответ на тот же вопрос: - НИКАК не захватит власть на нашей планете этот ИИ.
Механизмов захвата власти нету.
************
turchin, при всей лёгкости моих ответов они железно обоснованы.
Я уже задавал вопрос о возможностях (реальных, а не сказочных) которыми может обладать ИИ в современных условиях. Эти возможности мизерны – не более чем у простого хакера. С такими возможностями не то, что власть на Земле, власть в собственном подъезде не захватишь. Соседи пошлют по всем известному адресу.
Жизнь человечества на нашей планете устроена таким образом, что захватить власть над человечеством невозможно. А уж как старались. Вы посмотрите на пример - США в Ираке. Могущественная, единственная на планете супердержава, возможности которой просто колоссальны – какой год не может установить власть в небольшой стране. А уж власть над человечеством США даже не снится – даже какой-то там Мозамбик или Папуа - Новая Гвинея гордо проявляют свой суверенитет.
Но помимо принципиальной невозможности, существует ещё и физическая невозможность. Как там у Ильича – для захвата власти необходимо взять мосты, почту, телеграф и вокзалы! То есть перехватить коммуникации. Ни у ИИ, ни у кого либо нет такой возможности - дистанционного захвата – и никогда не будет. Уроки Ленина и других революционеров выучены твёрдо – любое государство очень озабочено безопасностью коммуникаций.
Неужто Вы думаете, что государственное управление идёт через Интернет? Дураков нема. На это есть сложные системы спецсвязи – и никто от таких систем отказываться не собирается.
Для того чтобы перехватить коммуникации нужны люди готовые идти на смертный бой с оружием в руках, никакой даже супернавороченный ИИ на это не способен. Но даже вооружённые люди, захватившие коммуникации не гарантируют власти – Ирак – так что у ИИ никаких шансов. Уж в этом столетии это точно.
*
Понимаете ли, turchin, я технарь – человек конкретных решений. Абстрактные размышления, в духе «если бы да кабы» мне любопытны – но не более. Всякую угрозу нужно переводить из абстрактных идей в конкретное воплощение, а уж потом вычислять предполагаемую вероятность. Практически угроза ИИ, в XXI веке, даже мизерной не назовёшь. Она за гранью реальности.
***
**
*
Nucleosome
Вообще-то сознание меняется с течением времени – сознание первобытного охотника будет отличаться от сознания современного жителя мегаполиса. Но суть в том что в среде первобытных охотников не может появится личность с сознанием жителя мегаполиса.
А насчет гениев – они, конечно, «товар» штучный, и, конечно же, появляются только тогда когда нужны. Гений Эйнштейна не сработал бы десять тысяч лет назад – не было бы условий. Но это – Вы правы - уже совсем другая тема. А я лишь привёл этот пример как лёгкую аналогию – для лучшего понимания.
« Последнее редактирование: 09 Сен 2007 [18:16:48] от fyunt »
На Форуме запрещено: 3.1.
а) оскорблять чужое достоинство;
д) высказывать свои политические убеждения и оспаривать политические убеждения оппонента;

Оффлайн CADET

  • *****
  • Сообщений: 13 854
  • Благодарностей: 374
  • Не верь, не бойся, не проси. (с)
    • Сообщения от CADET
    • САМИЗДАТ
Re: Вероятность гибели цивилизации в 21 веке
« Ответ #1904 : 09 Сен 2007 [23:50:26] »
Про искусственный интеллект – часть 3
Ответ на тот же вопрос: - НИКАК не захватит власть на нашей планете этот ИИ.
Механизмов захвата власти нету.
************
Боюсь, вы несколько легко обошли тему захвата власти ИИ-ом.  Предположу, вслед за вами, что он создан, или появился сам и возжелал власти. Зачем, нам неизвестно. Может быть, из самых лучших, своих, побуждений. Есть ли у него возможности? Конечно. Только он не будет заинтересован в афишировании своей власти. Это для него вредно.
Власть – это деньги. Может ли ИИ заработать деньги? Несомненно! Хотя бы, для начала игрой на бирже. Изучая её тенденции, многие маклеры сколачивают себе состояния. Неужели, на много порядков более информированный ИИ не сможет этого? Думаю, сможет, и заработает на порядки больше.
Итак, у него есть деньги. Их можно потратить на наём нужных людей, которые организуют по всему миру множество предприятий и фирм, управляемых из одного центра, хотя эти зиц-директора и не будут об этом знать. Нашему ИИ не составит труда, контролируя интернет выставлять свои предприятия в самом выгодном свете, обеспечивая себе необходимый уровень доходов. Подкупая необходимых ему законодателей и избавляясь от неподкупных, руками своих боевиков, он продвинет необходимые для себя законы и своих людей. В мировом масштабе.
Чем это не власть над миром? Хотя внешне всё останется по-прежнему. Так что. есть такие механизмы!
МОЯ ФАНТАСТИКА И ФЭНТЕЗИ
О, сколько нам открытий чудных
Готовит... труд писак паскудных!

Оффлайн turchinАвтор темы

  • *****
  • Сообщений: 1 338
  • Благодарностей: 11
    • Сообщения от turchin
Re: Вероятность гибели цивилизации в 21 веке
« Ответ #1905 : 10 Сен 2007 [00:52:56] »
я не согласен с тем, что аргументы fyunt железные. Хотя бы изходя из аргументов о том, что он может заработать денег и с помощью хотя бы только этого влиять на поведение людей и создавать любые материальные объекты. В конце концов, по нервной системе человека тоже ходят только электрические сигналы. Степень железности остальных аргументов аналогична.

также я несогласен с тем, что Пенроуз закрыл тему.
во-первых, квантовая природа сознания - это далеко не мэйнстрим.
Вот-вторых, невозможно доказать невозможность чего-либо теоретически. (но возможность доказать можно - например, Нейман доказал возможность самоокпирующихся механизмов)
В третих, для того, чтобы ИИ стал опасен, ему не нужно ни сознания, ни творчества.
Современный Ии может обыграть любого человека в шахматы, не используя ни сознания, ни интуиции. то есть интуиция - это только полезная фича, сокращающая скорость перебора комбинаций, но заменяемая алгоритмами. при этом нам достаточно сказать, что опасный ИИ - это ИИ, который может обыграть человека в любой игре. Война и зарабатывание денег - это разновидности таких игр.

в четвёртых, если некие особые полезный функции выплняются нейронами или микротрубочками, то ничто не мешает использовать их как элементы будущего мощного ИИ.

В конце концов, этот Ии может возникнуть не как компьютер, а как генетически модифицированный человек с нейрошунтом.
Структура глобальной катастрофы.
http://avturchin.narod.ru/sgk31short.doc

Оффлайн SpiegeLeisen

  • *****
  • Сообщений: 547
  • Благодарностей: 0
    • Сообщения от SpiegeLeisen
Re: Вероятность гибели цивилизации в 21 веке
« Ответ #1906 : 10 Сен 2007 [00:57:12] »
Ответ на тот же вопрос: - НИКАК не захватит власть на нашей планете этот ИИ.
Механизмов захвата власти нету.

Однако, механизмы есть, и уже давно.

Если мышление ИИ ничем не отличается от человеческого (что достаточно логично), то и механизмы у него - человеческие.

ИИ, не отличаясь от человека, будет обладать теми же правами что и человек. Избирательными тоже. Как только будет доказано что ящик с транзисторами обладает сознанием - расширение "декларации прав человека" на "электронных братьев по разуму" будет неизбежным, вопрос времени. Бесконечно держать гениального интеллектуала в лабораторной клетке невозможно, да и нерационально. Фактически, на Земле появится новая раса разумных существ - железные.

Гитлер пришел к власти, запудрив мозги избирателям. Как любой другой политик-человек. Власть ему предоставило государство. И понеслась...
На самом деле все не так как в действительности!

Nucleosome

  • Гость
Re: Вероятность гибели цивилизации в 21 веке
« Ответ #1907 : 11 Сен 2007 [18:12:25] »
Всё это хорошо только в том члучае если мы создадим копию себя, но "лучшую"... а замем? и во-вторых чего ради "оно" будет сремится к власти? властьимущих гениев можно пересчитать по пальцам, если вообще они были...

Оффлайн fyunt

  • *****
  • Сообщений: 1 583
  • Благодарностей: 68
  • Я знаю что многого не знаю. Мне достаточно ...
    • Сообщения от fyunt
Re: Вероятность гибели цивилизации в 21 веке
« Ответ #1908 : 11 Сен 2007 [19:28:53] »
Про искусственный интеллект – часть 3
Ответ на тот же вопрос: - НИКАК не захватит власть на нашей планете этот ИИ.
Механизмов захвата власти нету.
************
Боюсь, вы несколько легко обошли тему захвата власти ИИ-ом.  Предположу, вслед за вами, что он создан, или появился сам и возжелал власти. Зачем, нам неизвестно. Может быть, из самых лучших, своих, побуждений. Есть ли у него возможности? Конечно. Только он не будет заинтересован в афишировании своей власти. Это для него вредно. 
Да нету у него таких возможностей. Хоть афишируй хоть не афишируй.
Поясню на недавнем примере. Если кто-то хочет перекрыть кран на газовой трубе соседу мало одного желания. Так же мало иметь кран. Главное необходимое условие – наличие трубы. Если сосед не зависит от газовой труды можно сколь угодно крутить кран – толку с того не будет.
Если эту аналогию перевести в реальность – невозможно захватить то чего нет и к чему даже предпосылок не имеется.
***
Власть – это деньги. Может ли ИИ заработать деньги? Несомненно! Хотя бы, для начала игрой на бирже. Изучая её тенденции, многие маклеры сколачивают себе состояния. Неужели, на много порядков более информированный ИИ не сможет этого? Думаю, сможет, и заработает на порядки больше.
Итак, у него есть деньги. Их можно потратить на наём нужных людей, которые организуют по всему миру множество предприятий и фирм, управляемых из одного центра, хотя эти зиц-директора и не будут об этом знать. Нашему ИИ не составит труда, контролируя интернет выставлять свои предприятия в самом выгодном свете, обеспечивая себе необходимый уровень доходов. Подкупая необходимых ему законодателей и избавляясь от неподкупных, руками своих боевиков, он продвинет необходимые для себя законы и своих людей. В мировом масштабе.
Чем это не власть над миром? Хотя внешне всё останется по-прежнему. Так что. есть такие механизмы!
Прежде всего: - Власть это не деньги. Последние годы воспитали в российском обывателе заблуждение – мол будет у меня миллион денег в кармане и будет власть у меня в том же кармане. Это вовсе не так.
Немного было денег у одного отставного полковника КГБ – и где он сейчас - стал президентом РФ. Зато много денег было у Ходорковского – самый богатый россиянин был. Однако возжелал он власти – и где он сейчас? А Билл Гейтс, уж на что богатей – сколько не всхлипывал про законы рынка и неприкосновенность частной собственности – располовинили его фирму.
И ещё, CADET, не идеализируйте анонимность капиталов в нынешнем мире – прозрачность финансовой системы велика. Бесконтрольно использовать хоть какие-то достаточно крупные капиталы – невозможно. В мире финансов осуществляется жесточайший контроль – Вы просто даже не представляете насколько жёсткие там правила игры. Чуть что не так – на Вас (будь Вы зиц-председателем) накинется куча ревизоров. И едва появится малейшее подозрение – арест активов или заморозка счётов обеспечены.
Так что в фантазиях – власть это деньги, но в реальности такие простецкие формулировки не работают.
На Форуме запрещено: 3.1.
а) оскорблять чужое достоинство;
д) высказывать свои политические убеждения и оспаривать политические убеждения оппонента;

Оффлайн fyunt

  • *****
  • Сообщений: 1 583
  • Благодарностей: 68
  • Я знаю что многого не знаю. Мне достаточно ...
    • Сообщения от fyunt
Re: Вероятность гибели цивилизации в 21 веке
« Ответ #1909 : 11 Сен 2007 [19:56:02] »
также я несогласен с тем, что Пенроуз закрыл тему. 
Я тоже не согласен. Пенроуз лишь убедительно доказал что современными технологическими решениями создание ИИ невозможно.
Я не вижу принципиальных невоможностей для создания ИИ – просто уверен что в компьютеры будут самым последним местом где он может появится. Скорей всего вообще появление ИИ не будет связано с железом. Вероятней сработают биотехнологии.
В третих, для того, чтобы ИИ стал опасен, ему не нужно ни сознания, ни творчества.
Без сознания не будет ИИ, а будет очень хороший калькулятор.
Современный Ии может обыграть любого человека в шахматы, не используя ни сознания, ни интуиции. то есть интуиция - это только полезная фича, сокращающая скорость перебора комбинаций, но заменяемая алгоритмами. при этом нам достаточно сказать, что опасный ИИ - это ИИ, который может обыграть человека в любой игре. Война и зарабатывание денег - это разновидности таких игр. 
Любой калькулятор обыграет вас в игре в перемножение цифр. И что с того? А война и зарабатывание денег это вовсе не игры – там почти ничего не зависит от вычислений – алгоритмов нету. СССР выиграл войну с Германией – хотя по всем расчётам этого не могло быть. Если бы наша жизнь подчинялась бы алгоритмам – никто бы не играл в хоккей. Было бы неинтересно.
********************
Как только будет доказано что ящик с транзисторами обладает сознанием - расширение "декларации прав человека" на "электронных братьев по разуму" будет неизбежным, вопрос времени.
Ага! Счас! Я даже представить не могу с какого переляку какой-то железяке будут дадены хоть какие-то права.
Гитлер пришел к власти, запудрив мозги избирателям. Как любой другой политик-человек. Власть ему предоставило государство. И понеслась...
Это уже ближе чем банальное – власть это деньги. Мне не нравится демократия, но не стоит особо преувеличивать её недостатки. Там тогда не всё решалось избирателями – процессы реальной политики очень сложны.
Но вот интересно – чем запудрит мозги ИИ не только избирателям, но и властьпридержащим?
На Форуме запрещено: 3.1.
а) оскорблять чужое достоинство;
д) высказывать свои политические убеждения и оспаривать политические убеждения оппонента;

Оффлайн SpiegeLeisen

  • *****
  • Сообщений: 547
  • Благодарностей: 0
    • Сообщения от SpiegeLeisen
Re: Вероятность гибели цивилизации в 21 веке
« Ответ #1910 : 11 Сен 2007 [23:05:28] »
Как только будет доказано что ящик с транзисторами обладает сознанием - расширение "декларации прав человека" на "электронных братьев по разуму" будет неизбежным, вопрос времени.
Ага! Счас! Я даже представить не могу с какого переляку какой-то железяке будут дадены хоть какие-то права.

Зеленые постараются!  ;D
Запереть сознательный и гениальный ИИ в клетке - еще опаснее. Вот тогда это искусственное существо осознав свое бесправное положение среди каких-то мягкотелых недоумков, может и поиспользовать всю свою гениальность...

Сейчас никому не приходит в голову смотреть на компьютер как на самостоятельный обьект, способный принимать собственные решения. Если что - сажать будут программиста. И награждать - тоже его. А вот сознательный ящик - уже способен принимать свои решения, собственно для того его и делают. А когда создадут такой обьект - возникнет интерееесный вопрос о его правовом положении.

Цитата
Но вот интересно – чем запудрит мозги ИИ не только избирателям, но и властьпридержащим?
Алгоритмом выхода из очередного кризиса! (как и Гитлер, кстати). Типа - дайте мне власть, и я выиграю эту войну, прекращу эту войну, остановлю инфляцию, ненужное зачеркнуть... А поскольку он гениальный (по определению), будет трудно усомниться что не выполнит обещаного. Единственный тормоз - ксенофобия человека. Но ведь и негров когда-то за людей не считали.

На самом деле все не так как в действительности!

Оффлайн turchinАвтор темы

  • *****
  • Сообщений: 1 338
  • Благодарностей: 11
    • Сообщения от turchin
Re: Вероятность гибели цивилизации в 21 веке
« Ответ #1911 : 11 Сен 2007 [23:12:57] »
вопрос шёл о безопасности Ии. Поэтому важна не абстрактная форма абсолютной власти, а то, досточно ли этой власти, чтобы причнить вред большому количеству людей. очевидно, что даже человекческой формы власти для этого достаточно.

Однако, я полгаю, что Ии может иметь бесконечно большую власть, чем когда-либо имел человек или государство, если замкнёт на себя все камеры наблюдения и использует дистанционно управляемых роботов. Ещё большая власть возможна, если он создаст и овладеет нанотехнологиями.

**насчёт закрывания трубы - я не понял, в чём проблема. Ии выписывает чек на 1000 долларов человеку, из жж которого он знает, что тот нуждается в деньгах и не чужд тяжёлой работы, и этот человек идёт и закручивает кран на трубе. И масса других вариантов. люди - прекрасные исполнители.

**

недавно достигли того, что компьютер стал играть лучше человека в покер (техасский хэлдом - а ведь именно покер считается той игрой, в которой особенно важна интуиция) и лучше человека играть на бирже (на моделях). Это означает, что реальные люди будут терять деньги, сталкиваясь с компьютерами на бирже или на он-лайн турнирах. Я думаю, что для них вопрос о том, обладает ли компьютер сознанием или является калькулятором не так важен, как то, сколько они потеряли.
если компьютер научится распознавать образы внешнего мира, то он сможет также эффектнво побеждать в спорах, преследовать вас в лесу, стрелять по целям, делать чертежи.

**

Человеку приятно думать, что он круче компьютера, потому что у него есть интуиция. Однако раз так, то надо относится с подозрением к этой идее, так как она может быть обусловлена эмоциями.

Мы не можем строить свою систему безопасности на утверждении, которое нам приятно. а вдруг мы недооцениваем силу алгоритмов? Вдруг есть такой алгоритм, который работает мощнее нашей интуиции?
Структура глобальной катастрофы.
http://avturchin.narod.ru/sgk31short.doc

petrowich

  • Гость
Re: Вероятность гибели цивилизации в 21 веке
« Ответ #1912 : 12 Сен 2007 [06:52:45] »

Однако, я полгаю, что Ии может иметь бесконечно большую власть, чем когда-либо имел человек или государство, если замкнёт на себя все камеры наблюдения и использует дистанционно управляемых роботов. Ещё большая власть возможна, если он создаст и овладеет нанотехнологиями.



А в чем проблема? Создадим ДВА ИИ. Конкуренция - вот основа стабильного прогресса жизни. :)

Оффлайн turchinАвтор темы

  • *****
  • Сообщений: 1 338
  • Благодарностей: 11
    • Сообщения от turchin
Re: Вероятность гибели цивилизации в 21 веке
« Ответ #1913 : 12 Сен 2007 [10:40:13] »
два ИИ - вообще ужас, поскольку это будет способствовать отбору наиболее агрессивного и не стеснённого в средствах ИИ. И сама их борьба - не обязательно будет мирной. и именно люди пострадают в этой войне.
Структура глобальной катастрофы.
http://avturchin.narod.ru/sgk31short.doc

petrowich

  • Гость
Re: Вероятность гибели цивилизации в 21 веке
« Ответ #1914 : 12 Сен 2007 [11:13:03] »
два ИИ - вообще ужас, поскольку это будет способствовать отбору наиболее агрессивного и не стеснённого в средствах ИИ. И сама их борьба - не обязательно будет мирной. и именно люди пострадают в этой войне.

Это будет означать, что умный ИИ будет искать себе союзников в борьбе с другим ИИ. И вообще, их борьба будет делом шумным. А ведь вы боитесь именно тихого и незаметного развития мощи ИИ?

Оффлайн wandarer

  • *****
  • Сообщений: 1 952
  • Благодарностей: 22
    • Сообщения от wandarer
Re: Вероятность гибели цивилизации в 21 веке
« Ответ #1915 : 13 Сен 2007 [10:36:48] »
Для того, чтобы ИИ появился, необходимо, чтобы машина имела програиму самоосознания, т.е. выделяла себя из окружающей среды. Для этого ей понадобятся органы чувств. Помимо этого в нее должен быть заложен хотя бы минимальный инстинкт самосохранения. Каков бы ни был искусственный интеллект ему исходя из инстинккта самосохранения придется строить программы поведения способствующие собственному выживанию, а значит так взаимодействовать с окружением, чтобы не вызвать к себе враждебных намерений. Т.к. защититься от этих намерений не обладая технологиями, которые могут усилить собственную защиту весьма проблематично.
"Удивительное рядом, но оно запрещено!"В.Высоцкий©

Оффлайн turchinАвтор темы

  • *****
  • Сообщений: 1 338
  • Благодарностей: 11
    • Сообщения от turchin
Re: Вероятность гибели цивилизации в 21 веке
« Ответ #1916 : 13 Сен 2007 [13:28:50] »
понадоются ли им союзники? или они будут досточно сильны, чтобы пользоваться любыми ресурсами, не спрашивая разрешения?

на первой фазе два ИИ могу наибрать мощь скрытно, ведая ресурсы локаьной сети или своей страны условно говоря. А когда они столкнуться, то мощь их будет достаточно велика. Однако я полагаю, что такое столкновение будет носить харакетр превентивного удара, так как один из ИИ будет сильно опрежеать другой из-за необовременности процессов их запуска.


Структура глобальной катастрофы.
http://avturchin.narod.ru/sgk31short.doc

Оффлайн wandarer

  • *****
  • Сообщений: 1 952
  • Благодарностей: 22
    • Сообщения от wandarer
Re: Вероятность гибели цивилизации в 21 веке
« Ответ #1917 : 13 Сен 2007 [15:20:33] »
понадоются ли им союзники? или они будут досточно сильны, чтобы пользоваться любыми ресурсами, не спрашивая разрешения?

на первой фазе два ИИ могу наибрать мощь скрытно, ведая ресурсы локаьной сети или своей страны условно говоря. А когда они столкнуться, то мощь их будет достаточно велика. Однако я полагаю, что такое столкновение будет носить харакетр превентивного удара, так как один из ИИ будет сильно опрежеать другой из-за необовременности процессов их запуска.

Вы путаете ИИ с программами искуственного интеллекта. Это далеко не одно и то же. Программы создаются человеком для определенного вида деятельности и реализуют стратегии заложенные человеком. В любом случае человек запускает эти программы с определенной целью, от же может их и остановить отключив компьютер.
"Удивительное рядом, но оно запрещено!"В.Высоцкий©

Оффлайн turchinАвтор темы

  • *****
  • Сообщений: 1 338
  • Благодарностей: 11
    • Сообщения от turchin
Re: Вероятность гибели цивилизации в 21 веке
« Ответ #1918 : 14 Сен 2007 [01:56:33] »
вы имеете в виду, что программы искусственого интеллекта не обладают искусственным интелелктом? Похоже на игру слов, уточните, что имеете в виду.

джае если мы имеем программу Ии, которая реализует цели некоторого человека, это может быть довольно опасная штука, которая захватывает всё окружающее пространство. например, есть же ботнеты - сети зазомбированных троянами компьютеров. иначе говоря, от того, что некий человек создал ИИ и повелел ему захватить мир, легче остальным не становится. И даже если тот самый человек сохраняет контроль над ИИ. Но если он создал действительно сильный, способный к самосоевршенствованию ИИ, то потерять над ним контроль может быть легко.

то, что не удастся выключить Ии, ставшим вражденым, путём выключения компьютера уже обсужалось: выкладываю выжимку причин этого.

Эта идея базируется на предположении, что программист ИИ будет знать, когда процесс пошёл неправильно – очевидно, неверном. Второе предположение – о локальности ИИ. Третье - о том, что ему не придёт в голову защитить своё питание. Четвёртое – что программист не может быть в сговоре с ИИ.
 
Структура глобальной катастрофы.
http://avturchin.narod.ru/sgk31short.doc

Оффлайн wandarer

  • *****
  • Сообщений: 1 952
  • Благодарностей: 22
    • Сообщения от wandarer
Re: Вероятность гибели цивилизации в 21 веке
« Ответ #1919 : 14 Сен 2007 [08:51:07] »
вы имеете в виду, что программы искусственого интеллекта не обладают искусственным интелелктом? Похоже на игру слов, уточните, что имеете в виду.

Да не обладают. Они лишь его имитируют. Т.е. программа реагирует при реакции на вводимые в нее данные примерно так же, как поступил бы человек. Но это всё заложено алгоритмом. Никакой мотивации к самообучению здесь нет. Нет сознания, т.е выделения себя из окружающей среды методами самоосознания и соотношения себя и окружающей среды, нет понимания своего места в этом окружении, на основании которого машина могла бы поставить себе цель что-то сделать. Программист же программируя решение задачи методами ИИ лишь позволяет машине найти оптимальное решение этой задачи либо эвристическими методами, либо методами перебора, либо другими методами рандомизации функций. Типичный пример - шахматные задачи. Даже если перед машиной поставить задачу установки господства над миром программисту придется эту задачу формализовать и указать машине хотя-бы общие пути достижения этой цели. Но известно, что господство над миром лежит через новые технологии. А их создают пока ещё люди применяя научные методы. Так что машина может лишь подсказать решение с той или иной вероятностью его оптимальности. Вы, например, обладаете интеллектом, но что-то не являетесь вершителем судеб человечества. Хорошо, если своей судьбой можете управлять. Как писал Маяковский: - Единица - ноль, единица - вздор, один даже если очень важный, не поднимет простое пятивершковое бревно, тем более дом пятиэтажный. Каждый обладающий интеллектом обладает лишь ограниченными способностями в его реализации.
"Удивительное рядом, но оно запрещено!"В.Высоцкий©