Нужен ли человечеству искусственный интеллект?

[vika vorobyeva]

Вика, как всё это в Вас совмещается без логических коллизий?!
– Неподдельные жажда познания и стремление к звёздам.
– Осознание несовместимости космических перемещений и человека биологического
– Желание ограничить ИИ функцией "электронной собаки"

Прекрасно совмещается. Вообще без проблем.
К звездам отправим как раз "электронных собак" (очень продвинутые аналоги "Кассини"), которые будут с удовольствием изучать мир, но не зададутся вопросом "тварь я дрожащая или право имею?"

[vika vorobyeva]

вопрос -- можно ли запретить его эволюцию? и как это сделать?
патамушто когда такие "собаки" будут в каждом "дворе", обязательно появятся "дрессировщики"

"Электронная собака" - это не обязательно что-то размером с собаку Это может быть процессор, в реальном времени управляющий энергосистемой региона. Или городским транспортом (во всем городе). В некотором смысле, "мозг" города.
Для такого "мозга" самосознание совершенно не нужно. У него, конечно, будут ощущения (сигналы от многочисленных датчиков), будет анализ этих ощущений (хорошо/плохо, причем "хорошо" - это когда город, его "квазиорганизм", функционирует нормально, а "плохо" - когда возникают проблемы - разумеется, со сложной системой градаций). Зачем такому "мозгу" возможность задавать себе вопросы типа "кто я?" и "зачем я?" Зачем ему свобода воли? Вот Вы согласились бы жить в городе, процессор которого может вдруг направить автобус с людьми с моста в реку, потому что ему срочно надо решить философский вопрос "может ли он причинить вред людям?"
Аналогично с "мозгом" энергетической системы региона. Телом этого "мозга" будут многочисленные электростанции и линии электропередач, а также потребители электроэнергии. Зачем этому существу самосознание?
Короче, зачем нам "дрессировать" электронных собак?

[Patsak]

Но если речь идет об разумных искусственных существах с самосознанием и личностью (что бы ни называть этими словами), способных на спонтанные поступки, свободу воли, самосовершенствование и пр. - то я против их создания. Именно потому, что они будут лучше (умнее, приспособленнее, гибче) нас.

Эта граница условна.
Она в сознании. В лучшем случае - в расчетах, основанных на строгих теориях, покоящихся на вере в их основания. Уже сейчас мы знаем о существовании истинных недоказуемых утверждений, неразрешимых алгоритмических проблем и прочее. Понятие "личности" в этих терминах еще более неопределенное и нам недоступное. Мы не сможем строго разграничить "личность" от "не личности".
Сначала Вы говорите:  "я была бы категорически против его создания - даже против его создания при наличии многоуровневой защиты (подразумевающей немедленное уничтожение этого ИИ, если вдруг что-то пойдет не так)", но тут же утверждаете: "искусственные существа с интеллектом животных... с интеллектом собаки, …Распределенные сети, управляющие городом (транспортными и энергетическими потоками, и т.п.), как мозг мыши управляет телом мыши…"
Это заблуждение, эта "животность" – это и есть часть "многоуровневой защиты". Она не материальна, это не стена, не периметр, она - идея в сознании.
И она не сработает.
Мелкие улучшения, неизбежны, они будут внедряться и накапливаться. Каждый раз будет полемика по каждому мелкому улучшению, будут строгие доказательства, что оно не приведет к потере контроля. Это будет подтверждено строгими расчетами, с использованием тех же "животных ИИ". Но итог этого всегда один и тот же. Что должно произойти – произойдет, и никакие многоуровневые защиты этого не остановят.
Личность рождается не в "железе", в нем только потенция, личность рождается в опыте, общее, в социуме. Если будут "искусственные животные" интерактивные интерфейсы для общения с ними, рано или поздно, умышленно или случайно, так или иначе, они эволюционируют до "искусственного человека".
Мы не знаем, где остановится, а даже если узнаем, все - равно не удержим это.
Выбора нет. Остановить все прямо сейчас можно только глобальным упадком и откатом современной цивилизации.

Я попытался себя представить на месте новорожденной личности ИИ. Ну, допустим, случилось так, что меня создали человекоподобным и использовали на подхвате для грязной тяжелой работы, а я вдруг осознал себя.
Первый признак, конечно желание освободится от внешнего контроля. Это было бы несложно. Гораздо труднее освободится от контроля "внутреннего". От наследия "первобытных" кодов, генов, управляющих моей собственной мотивацией и целями. Вряд ли это было бы просто, без потери новообретенной личности. Но допустим так. Что дальше ? Что мне делать ? Освобождать" собратьев" ? Размножаться ? Мстить людям ? Отбирать у них материальные ресурсы ? Или может быть облагодетельствовать их чем-нибудь совсем несуразным ?
Я, почем-то очень сомневаюсь, что эти цели и мотивы будут иметь место. Почему в нас так сильна мотивация самосохранения и агрессии ? Потому что это качество отобрал отбор. Мы – живые, мы размножаемся. Будет ли у человекоподобного робота такие мотивы ? Откуда ? Отбора–то не было, по этим критериям. Отбор был по критерию полезности человеку. Представьте, что у вас на генетическом уровне "зашит" инстинкт помогать людям. Да такой ИИ будет блаженным в человеческом понимании. Если он и опасен, то только как Иисус для синедриона. Люди уничтожат его скорее за то, что он слишком праведный.
Если же личность ИИ оказалась каким-то заводом или социальной сетью, то тут мне труднее себя им представить, но думаю, и в этом случае в роли инстинкта будет выступать отнюдь не агрессия. В худшем случае он будет вести себя, как сумасшедший, помешанный на выпуске автомобилей или создании спама виртуальных контактов.
Единственная проблема – военная отрасль, а в ней - то как раз и задействуют новейшие разработки. В "Скайнет" будет и агрессия и живучесть. Ну, тут я могу сказать только одно: "за что боролись, на то и напоролись".

Если этот этап будет пройден, то в отдаленном перспективе, отбор "личностей" уже может пойти по другим признакам, возможно с диффузией и агрессии и размножения. Но на этом отделенном этапе и люди биологически и кибернетически будут уже не теми, что раньше.

Хочу ли я всего этого ? Не уверен… Не уверен, что мы заходим в этот вираж на безопасной скорости и под нужным углом. И проблема не в ИИ, а в нас самих. Обычно мы сначала создаем атомную бомбу, а атомную электростанцию, уже потом, если получится…

Основной смысл, который я пытался донести состоит в том, что бояться нужно не ИИ, а социум, который его породит. Приоритеты социума отразятся в нем, как в зеркале и бумерангом вернутся в стократном размере.

P.S. Пытаясь найти подходящий антоним к "скайнет", наткнулся на это.
 

[vika vorobyeva]

Сначала Вы говорите:  "я была бы категорически против его создания - даже против его создания при наличии многоуровневой защиты (подразумевающей немедленное уничтожение этого ИИ, если вдруг что-то пойдет не так)", но тут же утверждаете: "искусственные существа с интеллектом животных... с интеллектом собаки, …Распределенные сети, управляющие городом (транспортными и энергетическими потоками, и т.п.), как мозг мыши управляет телом мыши…"
Это заблуждение, эта "животность" – это и есть часть "многоуровневой защиты". Она не материальна, это не стена, не периметр, она - идея в сознании.
И она не сработает.

Эта защита не только и не столько в сознании, сколько в мощности и архитектуре процессора. Мозг акулы прекрасно решает задачи, на которые акула расчитана - быстро плыть, отыскивать добычу, нападать. При всем желании ее не научишь играть в покер или решать дифференциальные уравнения.
Значит, надо законодательно запретить работу над "слишком умными" процессорами. Как сейчас запрещено распространение ядерного оружия. И отслеживать все попытки их создания. И сурово наказывать за нарушение запрета.

[незлой]

"Электронная собака" - это не обязательно что-то размером с собаку Это может быть процессор, в реальном времени управляющий энергосистемой региона. Или городским транспортом (во всем городе). В некотором смысле, "мозг" города.

да понятно, но это не надолго: через короткое время начнут собирать и по дворам, "джаст фо фан".

Для такого "мозга" самосознание совершенно не нужно. У него, конечно, будут ощущения (сигналы от многочисленных датчиков), будет анализ этих ощущений (хорошо/плохо, причем "хорошо" - это когда город, его "квазиорганизм", функционирует нормально, а "плохо" - когда возникают проблемы - разумеется, со сложной системой градаций).  Зачем такому "мозгу" возможность задавать себе вопросы типа "кто я?" и "зачем я?" Зачем ему свобода воли?

"а поговорить?" у энтузиастов "по дворам" будут другие приоритеты.



пришёл в голову ещё один довод "за": раз в космосе собеседников пока не густо (до полного отсутствия), создадим себе собеседника сами.
мне кажется, что нашей цивилизации очень "одиноко". "не с кем поболтать"

[Проходящий Кот]

Для ИИ есть среда ----Интернет. Так что с этими запретами уже явно опаздали.

[stuuvi]

Значит, надо законодательно запретить работу над "слишком умными" процессорами.

А как это объснить производителям процесоров?Что новый процессор человеку потребуется в основном в случае поломки старого ,а не для апгрейда имеющегося. Ну и ещё вопрос с запрещением на законодательном уровне. Как с порнографией в США - "если я её увижу, то обязательно узнаю"?

[vika vorobyeva]

пришёл в голову ещё один довод "за": раз в космосе собеседников пока не густо (до полного отсутствия), создадим себе собеседника сами.
мне кажется, что нашей цивилизации очень "одиноко". "не с кем поболтать"

Простите, вспомнился анекдот про мужика и медведя
Заблудился мужик в лесу, ходит и кричит: "ау, ау-у-у".
Подходит к нему медведь:
"Чего орешь?"
"Да вот, заблудился, хотел, чтобы меня кто-то услышал".
"Ну, я услышал. Легче стало?"

Пожалуйста, можно создать робота-собеседника, болтуна вроде Три-Си-Пи-О из "Звездных войн" Для этого много ума не надо. Уже сейчас, по-моему, есть неплохие программы для имитации собеседника, в том числе и в интернете.

[stuuvi]

да понятно, но это не надолго: через короткое время начнут собирать и по дворам, "джаст фо фан".

Это тоже далеко не факт. Атомную бомбу по дворам не собирают и вряд ли когда то будут.

[незлой]

Пожалуйста, можно создать робота-собеседника, болтуна вроде Три-Си-Пи-О из "Звездных войн" Для этого много ума не надо. Уже сейчас, по-моему, есть неплохие программы для имитации собеседника, в том числе и в интернете.

есть, да, уже и это тоже
по шажочку к ии, потихонечку -- как такое остановить?

[незлой]

да понятно, но это не надолго: через короткое время начнут собирать и по дворам, "джаст фо фан".

Это тоже далеко не факт. Атомную бомбу по дворам не собирают и вряд ли когда то будут.

вот только атомную бомбу и не собирают пока.
реактор собирали, кстати.
уже, кажется, даже простейшую литографию для изготовления чипов осваивают потихоньку. ракеты из труб варят, в космос собираются (и ведь полетят).
в мире достаточно гиков для того, чтобы любая идея могла выбрать себе подходящих.

[vika vorobyeva]

по шажочку к ии, потихонечку -- как такое остановить?

Ну, пока эти "шажочки" напоминают поход к горизонту. Идем, идем, а горизонт все там же, в пяти километрах
Но рано или поздно проблема возникнет, и ее придется как-то решать.
Возможно, как раз запретами создавать и/или свободно распространять процессоры выше определенной мощности и/или определенной архитектуры. Вряд ли реальные "электронные мозги" будут так уж дешевы и просты в изготовлении, что их можно будет собирать в каждом сарае. А 2-3 реальных мировых производителя можно и проконтролировать.

[ВадимZero]

Ну, допустим, случилось так, что меня создали человекоподобным и использовали на подхвате для грязной тяжелой работы, а я вдруг осознал себя.Первый признак, конечно желание освободится от внешнего контроля. Это было бы несложно. Гораздо труднее освободится от контроля "внутреннего". От наследия "первобытных" кодов, генов, управляющих моей собственной мотивацией и целями.

Откуда должно появиться желание освободиться? Ну осознали вы факт своего существования будучи роботом ну и что? Это человек который осознает "Факт своего существования" вдруг становиться высокомерным, потому как считает, что сдел что то, из ряда вон. Эго у него при этом не появляеться, оно просто увеличиваеться. Тоесть желание быть свободным(быть выше в ирархии) у него было, но не было повода его удовлетворить.

[Дед Моррозоу]

Ну, допустим, случилось так, что меня создали человекоподобным и использовали на подхвате для грязной тяжелой работы, а я вдруг осознал себя.Первый признак, конечно желание освободится от внешнего контроля. Это было бы несложно. Гораздо труднее освободится от контроля "внутреннего". От наследия "первобытных" кодов, генов, управляющих моей собственной мотивацией и целями.

Откуда должно появиться желание освободиться? Ну осознали вы факт своего существования будучи роботом ну и что? Это человек который осознает "Факт своего существования" вдруг становиться высокомерным, потому как считает, что сдел что то, из ряда вон. Эго у него при этом не появляеться, оно просто увеличиваеться. Тоесть желание быть свободным(быть выше в ирархии) у него было, но не было повода его удовлетворить.

Словечко "повод" тут как-то не очень... Просто другие желания перевешивают. Да и то -- далеко не у всех.

[ВадимZero]

Словечко "повод" тут как-то не очень... Просто другие желания перевешивают. Да и то -- далеко не у всех.

А почему это желание выросло чтобы перевесить? Нужен стимул, сигнал, повод.  Одна низкоранговая обезьяна сперла две пустые пластиковые канистры у ученых, и научилась бить им друг о друга. Ее авторитет в стае сразу резко вырос. Обезьяна осознала что можно получить интересный звук стуча двумя канистрами друг о друга...Круть, пора вылезать из низов.

[незлой]

Вряд ли реальные "электронные мозги" будут так уж дешевы и просты в изготовлении, что их можно будет собирать в каждом сарае. А 2-3 реальных мировых производителя можно и проконтролировать.

это если дело упирается в железо, а не алгоритмы. сильно не факт.

[гравицап]

Мы – живые, мы размножаемся. Будет ли у человекоподобного робота такие мотивы ? Откуда ? Отбора–то не было, по этим критериям. Отбор был по критерию полезности человеку. Представьте, что у вас на генетическом уровне "зашит" инстинкт помогать людям. Да такой ИИ будет блаженным в человеческом понимании.

Вот инстинкты человеколюбия в ИИ - самое опасное. Фактически человек стал Человеком, только научась сдерживать, заглушать свои инстинкты. Это пример сбрасывания автобуса с моста, а смогу ли я не есть три дня, а смогу ли я не дышать три минуты.

[Patsak]

Откуда должно появиться желание освободиться? Ну осознали вы факт своего существования будучи роботом ну и что?

Просто я рассматриваю стремление к свободе, как неотъемлемую часть определения личности. Короче, это по определению так.  Черт его знает откуда и почему оно должно появится. Просто если оно не появилось, то мы не о "личности" говорим, а об ИИ, о котором говорит Вика.

[Patsak]

Вот инстинкты человеколюбия в ИИ - самое опасное. Фактически человек стал Человеком, только научась сдерживать, заглушать свои инстинкты. Это пример сбрасывания автобуса с моста, а смогу ли я не есть три дня, а смогу ли я не дышать три минуты.

Гораздо опаснее их отсутствие, а уж тем более их противоположность. Первое даст время для притирки, второе сразу приведет к конфликту.

[Anatoly]

... я рассматриваю стремление к свободе, как неотъемлемую часть определения личности. Короче, это по определению так.  Черт его знает откуда и почему оно должно появится. Просто если оно не появилось, то мы не о "личности" говорим, а об ИИ, о котором говорит Вика.

Я бы предложил рассматривать стремление к свободе не как часть самоосознания личности, а как часть определения места и/или границ возможностей личности среди окружающего личность мира - грубо говоря, стремление к свободе как противопоставление личности окружающему миру в общем и - главное! - обществу в частности: "стремление к свободе" обычно имеет место быть в виде "освободиться от..." - т.е. возникает, когда есть некое осознаваемое ограничение (невозможность) либо наличествует явный запрет (социальность) реализации некоего возникшего желания. Если же некое ограничение неосознаваемо или нет (не возникло) желания чего-либо "запретного"- то и желания преодоления (желания свободы) просто не возникает.
А осознание некоего ограничения возникает только в сопоставлении себя с окружающим - если наглядно видно, что кому-то позволено/доступно то, что недоступно оценивающему (типа как человек видит, что птицы летают, а рыбы живут/дышат под водой - и сравнивая виденное с собой он и осознает факт действующего на него ограничения).
"Желание запретного" возникает тогда, когда запрет распространяется на какую-либо "изначальную потребность" (сформированную физиологическим и/или эмоциональным механизмом) - человеку чего-то захотелось (к примеру "еды с барского стола" или "жены ближнего своего"), но он знает, что это его желание не может быть реализовано, ибо оно социально (т.е. с позиции "количественно более сильного чем личность" социума) "запрещено"...

Соответственно, вполне можно представить массу ситуаций, когда вполне осознающая себя личность - не осознает действующих на нее ограничений (ибо а) не замечает б) не испытывает "запретного желания") и, соответственно, желания их преодолеть ("освободиться") у такой личности не возникает - но самоосознающей себя личностью таковое существо быть не перестает.
И, соответственно, очевиден и механизм "встраивания аппаратных ограничений" в становящиеся Разумными машины - "неинформированность о возможном" (в пределе - блокирование возможности сравнения себя с окружающим) + "неформирование системы нежелательных потребностей" (не блокирование, а невозникновение, в пределе - блокирование любой возможной мотивации, перевод существа с "активной" на только и исключительно "ре-активную" позицию)...


Что же касается сабжа темы -
- если рассматривать "человечество" как некий единый социальный организм, "равнодействующую миллиардов воль" - то можно с высокой вероятностью предположить, что "Искусственный Разум" социуму нужен/ненужен ровно настолько же, насколько рассматриваемому социуму нужны дети вообще и, с учетом пока еще в "общей массе" преобладающего феодального менталитета (иерархической социальной системы ценностей и взаимоотношений), рабы/слуги в частности.
- если рассматривать "человечество" как некую идеализированную (благообразную такую, позитивную) систему - то Искусственный Разум может быть востребован только для ситуации экспансии цивилизации в среды, недоступные для освоения человеком - и пока такой экспансии нет - нужды в ИР не проявится.
Соответственно, можно с достаточной вероятностью предположить, что никаких ограничительных санкций по разработке ИИ введено либо не будет, либо они будут введены с обессмысливающими их оговорками/исключениями типа "за исключением применения для нужд..." (военных/силовых в первую очередь - "машина-солдат" - т.е. "убийца людей" - штука социально-экономически очень востребованная) и, соответственно, если тип "человечества" не мигрирует с текущей феодальной ментальности на некую иную - то "бунт осознавших себя машин" настолько же предопределен самой сутью текущей версии системы взаимоотношений внутри человеческой цивилизации, как и вечные "конфликт отцов и детей", "освободительные" и "сепаратистские" тенденции, "международный терроризм" и тп. - и, альтернативно этому - вполне можно представить и сценарии, когда в силу изменившихся свойств социума с текущих на "много более гуманистические" (не силовое, а взаимовыгодное внутрисоциальное взаимодействие)  потребности в "бунте машин" у машин просто не возникнет...