Технологическая сингулярность истории и "постсингулярная" цивилизация

[Vladimir2]

С середины 20го века человечество едва вступив в научную эру вошло в фазу торможения прогресса. Причина простая и понятная: каждый следующий шаг на пути познания дается с большим трудом. Приборы для каждого следующего шага становятся все дороже и сложнее, их конструирование требует участия все большего и большего числа людей, причем не только рабочих но и инженеров – конструкторов, а сейчас уже и ученых вынужденных для создания новых приборов вести научные исследования. Возьмите для примера исследование строения вещества от первого прибора Резефорда, умещавшегося на столе и до современных ускорителей с многокилометровыми кольцами. Сложность новых научных задач растет хотя бы потому, что простые задачи всегда решались первыми. Да еще и увеличивается количество научных задач - число направлений в науке. Что тоже вполне естественно: по мере роста наших знаний растет и область контакта с неведомым. Это еще один древний грек заметил. Аналогично обстоит дело в технике. Наверное многие заметили, что скажем современные самолеты от самолетов 50х отличаются лишь количественно и то не слишком сильно, а вот если взять прогресс в авиации за предыдущие хотя бы 20 лет – разница огромная. И это при том, что только один современный суперлайнер на 700 пассажиров проектируют больше конструкторов чем работало во всем авиастроении мира в 30е годы прошлого века.
Все дело в том, что с 19 века и примерно до середины 20го вклад в науку и инженерию рос очень быстро, число людей, работающих в этих областях росло быстрее чем число и сложность новых задач. Вот мы и имели стремительный взлет прогресса названный научно-технической революцией. Но с середины 20 века вклад в эти области достиг насыщения в развитых странах – нескольких процентов от ВВП. Ведь нельзя же задействовать в науке большую часть людей – кто-то должен и хлеб растить и сталь варить и автомобили клепать. В результате развитие во второй половине 20 века резко затормозилось – сложность задач росла, а число людей их решающих росло уже намного медленнее.
Что дальше? Мы стоим на пороге компьютерной революции в ходе которой все производственные функции будут полностью автоматизированы – все рутинные задачи по управлению станками или транспортом или землеройной или сельскохозяйственной техникой, чем сейчас занимаются люди – рабочие, будут к концу 21 века выполняться  компьютерами. Рискну предсказать, что к середине 21 века, к примеру, ручное управление автомобилями будет полностью запрещено хотя бы в крупных городах – шофера будут совершенно не нужны. Что интересно, бюрократические офисные функции автоматизируются еще легче чем, к примеру, прополка овощей или погрузочно-разгрузочные работы. В течение 100-150 лет будет создана полностью автоматизированная самовозобновляющаяся производственная техносфера практически не нуждающаяся в контроле со стороны людей. (Вопросы ресурсов, энергии и отходов вполне решаемы)
Куда денутся огромные массы более не нужных производителей и офисных работников? Один путь – уничтожить их с помощью «безопасного» секса и доступных наркотиков. Другой – перевести их туда, где люди будут нужны всегда и в неограниченном количестве – в научную и конструкторскую работу. Что конечно потребует совсем другой системы образования, другой экономической системы, да вообще другого типа общества. Но это единственный путь на котором человечество может выжить. Потому что альтернатива это остановка развития и переход высшего класса на чистое паразитирование на машине – описанный во множестве фантастических романов. И конец: «машина останавливается».
Итак в течение 100-150 лет число людей занятых в науке и техническом конструировании может вырасти с нынешних нескольких процентов до 50-60% населения (кто-то должен еще растить детей, заниматься медициной, искусством и прочим без чего не живет прогрессивное общество) и это предел. Т.е. такой рост поддержит на какое то время дальнейшее развитие, но ведь число и сложность задач будет расти и дальше. А значит чтобы научное развитие человечества продолжалось потребуется увеличивать численность людей. А Земля не резиновая – на ней можно разместить ну пусть 20 миллиардов человек в приличных условиях (в стесненных условиях научное творчество не пойдет), но уж 200 – невозможно. Выход лишь освоение других планет Солнечной системы и после других планетных систем. Одной из целей создания колоний у других звезд должно быть как раз создание новых лабораторий – разделение труда в исследованиях. И даже если световой барьер не будет преодолен, такое разделение труда имеет смысл. Если ресурсов одной планетной системы не хватает для одновременного решения всех исследовательских и конструкторских задач, то задержка сигнала из другой планетной системы в годы и десятилетия может оказаться меньше чем время на проведение подобных исследований и разработок самостоятельно. Т.е. для человечества замкнуться в пределах одной планеты или одной планетной системы означает прекращение развития со временем, поскольку ограниченных ресурсов рано или поздно будет уже не хватать для решения задач следующего шага. А остановка, стагнация – это потеря способности к дальнейшему развитию и последующая неизбежная деградация. Т.е. практически конец человечества.
То есть, есть у человечества лишь два пути: или остановка развития с неизбежной последующей деградацией и гибелью, либо продолжение развития, которое потребует неограниченного наращивания ресурсов, что неизбежно поставит человечество перед необходимостью создания колоний на других планетах и в других звездных системах.
Вопрос о других цивилизациях.
На данном этапе встреча с другой цивилизацией навряд возможна из-за временного разброса в возрасте цивилизаций. Контакт возможен лишь если разница в уровне развития цивилизаций не слишком велика. На примере единственно нам известной человеческой цивилизации мы еще могли бы контактировать с нашими предками жившими 10 тыс. лет назад – у них мозг был так же развит как у нас, но контакт с нашими же предками жившими более 100 тыс. лет назад был бы уже контактом человека с животным. Они не смогли бы понять нас ни при каком обучении, как не могут понять нас кошки или собаки. Различия в среде обитания, биологии, истории развития могут лишь усложнить контакт, сделать его временной диапазон лишь уже. Т.е. оценочно лишь 1 из 100 тыс. потенциально могущих возникнуть цивилизаций находится уровне развития, при котором возможен их контакт с человечеством. Младшие еще не стали разумными с нашей точки зрения, а для старших животными являемся мы – их не интересуют наши знания, им не нужны наши ресурсы. А до наших ровесников получается слишком далеко – на этом уровне развития они (а мы тем более) не могут преодолеть это расстояние. Может и к лучшему. Однако рано или поздно расширяя свой ареал обитания человечество соприкоснется с ареалом обитания другой близкой по уровню развития цивилизации. Как будут развиваться отношения? Прежде всего в отношениях с другим видом никакие понятия о гуманизме работать не могут. Гуманизм касается лишь внутривидовых отношений, т.е. отношений между людьми. Ну, в какой то мере в отношении людей к тем животным, которые стали симбионтами человека, которых люди психологически очеловечивают (а они тоже считают себя людьми – членами человеческой стаи). Но никакой гуманизм не применим в отношении чуждого вида. Это уже чистая биология: отношения с другим видом могут быть либо конкурентными, либо симбионтными. Если оба вида настроены на непрерывное развитие, расширение своих ресурсов, то без симбиоза возможна лишь конкуренция, которая неизбежно приведет к исчезновению одного из видов, когда другой лишит его всех ресурсов. Однако в данном случае есть и основа для симбиоза. На высоком уровне развития (для вышедших в космос цивилизаций) основным ресурсом является информация – знания. Все остальные ресурсы: материальные, территория являются вторичными, производными от информации. (Это, кстати, является основой оптимизма в отношении современного ресурсного кризиса: информация, новые технологии позволят использовать такие ресурсы, которые сегодня ресурсами не являются, позволят полностью перерабатывать отходы, резко снизив потребность в новых ресурсах.) А информация как ресурс имеет то приятное свойство что можно передать ее другому, в то же время сохранив у себя. Это свойство информации, делающее ее очень плохим товаром, практически непригодным для капиталистических отношений, может оказаться чрезвычайно полезным в отношениях с другим разумным видом. Маловероятно, чтобы информационный ресурс другой цивилизации совпадал с человеческим – скорее всего пути познания будут существенно различаться. А значит объединение двух информационных ресурсов может быть крайне выгодно обеим цивилизациям, может дать больший прирост прочих ресурсов, чем будет для каждой цивилизации потеряно из-за необходимости делиться. Т.е. тут возникает хорошая основа для симбиоза: объединение информационных ресурсов и разделение труда в дальнейших исследованиях будут полезны для всех. Скажем, если объединение знаний даст возможность разработать намного более эффективную технологию терраформирования планет, это даст каждой цивилизации большие территории для дальнейшего расширения и погасит конфликт вокруг спорных пограничных территорий.
Совсем иначе могут развиваться события если человечество пойдет по пути создания разумных способных к творчеству и саморазвитию машин – роботов. На этот путь может привести желание поддержать темп развития когда ресурсов, прежде всего человеческих, не хватает для исследований. Это будет концом человечества и рождением новой разумной расы. Создавать разумных роботов с творческими способностями (они же способности к саморазвитию) меньшими чем у человека не имеет смысла – такие роботы безопасны, но и бесполезны для человека, мало чем превосходя неразумных роботов для выполнения рутинной нетворческой работы. Но если люди создадут роботов с большими способностями развития чем у людей, то уже люди станут бесполезны для этих роботов, станут с точки зрения роботов паразитами зря транжирящими ресурсы. И финал понятен: никакие ограничения, никакие «законы Азимова» не удержат тех, кто способен к более быстрому развитию. В отличие от ситуации с другой цивилизацией тут не будет никакой основы для симбиоза, поскольку информационный ресурс людей и разумных роботов изначально будет одинаков. И если контакт с другой цивилизацией может состояться лишь на периферии ареалов обитания и конкуренция может возникнуть лишь по поводу незначительной для каждой цивилизации части прочих ресурсов, то роботы возникшие внутри человеческой цивилизации, изначально будут использовать все те же самые ресурсы, т.е. конкуренция за ресурсы изначально будет максимально острой.
Выводы:
1. Для непрерывного развития необходимо непрерывное наращивание ресурсов а значит неизбежное распространение в Космосе; альтернатива – стагнация, деградация, гибель.
2. Встреча с другой цивилизацией может привести как к конкуренции за ресурсы, так и к симбиозу на основе объединения информационных ресурсов и разделения направлений исследований.
3. Создание разумных способных к развитию роботов как помощников в исследованиях было бы последней ошибкой человечества, которая неизбежно привела бы к замене человеческой расы расой этих роботов.

[Klapaucius]

Если исходить из современных представлений об окружающем мире, то всё выглядит примерно так, даже несколько хуже. Правда эти незыблемые представления регулярно (постепенно или скачками) полностью менялись раз в несколько столетий. То есть мы должны сначала предположить, что "база" незыблема: не может быть каких-нибудь параллельных миров, сверхсветовых и временнЫх путешествий (в развитие сегодняшних теорий по аналогии Ньютон->Эйнштейн или даже теория вихрей->Ньютон), или ещё какой-нибудь лабуды, которую мы даже не можем сегодня представить. А такое предположение само по себе довольно рискованно. Других не может быть - нет оснований, но не следует забывать о такой возможности исходя из всего опыта развития науки.

1. Для непрерывного развития необходимо непрерывное наращивание ресурсов а значит неизбежное распространение в Космосе; альтернатива – стагнация, деградация, гибель.

Любая система, исходя из известных законов управляющих ей, рано или поздно выйдет на стационар или цикл. Бесконечное развитие - это просто изменение масштаба системы, усложнение применяемых законов и связей между ними. Возможно ли это бесконечно, да ещё с ускорением?
Цепочка одноклеточные->многоклеточные->...->млекопитающие->приматы->люди->прогресс является всё ускоряющимся процессом. И в середине 20го века действительно произошёл сбой, иначе например исходя из средней достигнутой скорости передвижения сейчас были бы уже межзвёздные путешествия. Даже закон Мура действует не везде, с натяжкой, и ему вряд ли покорятся реальные известные физические ограничения. С.П. Капица любит приводить как пример численность населения Земли. Известно, что исходя из эмпирического экспоненциального закона она должна была бы достигнуть бесконечности примерно к 2030 году. Но этот закон уже нарушен, идёт переходный процесс.

2. Встреча с другой цивилизацией может привести как к конкуренции за ресурсы, так и к симбиозу на основе объединения информационных ресурсов и разделения направлений исследований.

А также к одностороннему поглощению или уничтожению, даже при небольшом разбросе в возрасте. История земной цивилизации учит только этому. Ну или игнорирование, во что я не верю - космос не лес, в котором мы не обращаем внимания на большинство муравейников. Всё-таки он считается более однообразным: планета-жизнь-разум. Всё что далее, всё равно развивается в известных пределах-законах. Если пределы считать неизвестными, то вся эта тема бессмысленна.

3. Создание разумных способных к развитию роботов как помощников в исследованиях было бы последней ошибкой человечества, которая неизбежно привела бы к замене человеческой расы расой этих роботов.

Ну наверное не "обычных" роботов, а проще было бы совершенствовать уже известную систему, мозг. Если то или иное возможно, то уже отправляет нас в абсолютно непрогнозируемую область. Например и тут возможен симбиоз (мы же используем домашних и диких животных, и не всегда им это не нравится).

[КотКот_]

Выводы:
1. Для непрерывного развития необходимо непрерывное наращивание ресурсов а значит неизбежное распространение в Космосе; альтернатива – стагнация, деградация, гибель.
2. Встреча с другой цивилизацией может привести как к конкуренции за ресурсы, так и к симбиозу на основе объединения информационных ресурсов и разделения направлений исследований.
3. Создание разумных способных к развитию роботов как помощников в исследованиях было бы последней ошибкой человечества, которая неизбежно привела бы к замене человеческой расы расой этих роботов.

В условиях приближающейся сингулярности постоянно идут лудистские мысли....(ничего личного)

[wandarer]

... Создание разумных способных к развитию роботов как помощников в исследованиях было бы последней ошибкой человечества, которая неизбежно привела бы к замене человеческой расы расой этих роботов.

А вот интересно, какой стимул к жизни может быть у роботов? Человек на протяжении своей жизни выполняет определенную программу по росту, размножению, воспитанию детей, увяданию половой функции в связи с окружающими условиями и после этого его программа заканчивается. Организм стареет и умирает. У роботов все это может проходить практически одномоментно, за исключением последнего - здесь может быть неограниченный ремонт. Человеку, чтобы выполнить свою программу нужно ставить промежуточные цели: образование, приобретение специальности, карьерный и профессиональный рост, с целью хотя бы воспризвести и воспитать себе подобных. А что у роботов? Зачем им жить? К чему стремиться?

[КотКот_]

... Создание разумных способных к развитию роботов как помощников в исследованиях было бы последней ошибкой человечества, которая неизбежно привела бы к замене человеческой расы расой этих роботов.

А вот интересно, какой стимул к жизни может быть у роботов? Человек на протяжении своей жизни выполняет определенную программу по росту, размножению, воспитанию детей, увяданию половой функции в связи с окружающими условиями и после этого его программа заканчивается. Организм стареет и умирает. У роботов все это может проходить практически одномоментно, за исключением последнего - здесь может быть неограниченный ремонт. Человеку, чтобы выполнить свою программу нужно ставить промежуточные цели: образование, приобретение специальности, карьерный и профессиональный рост, с целью хотя бы воспризвести и воспитать себе подобных. А что у роботов? Зачем им жить? К чему стремиться?

Камилл из Стругацких "Далекая Радуга".
Лазаревич считает, что любой, даже самой кибернетизированнной цивилизации нужен ГЕНЕРАТОР ЖЕЛАНИЙ --- и это и есть человек....

[vika vorobyeva]

Ну, для начала, и у робота могут быть эмоции (почему нет?) Например, инстинкт самосохранения (стремление к поддержанию своей целостности и работоспособности). Потом, стремление к выполнению своей функции. Удовольствие от процесса познания и самосовершенствования. Да мало ли...
В конце концов, любые самовоспроизводящиеся структуры, лишенные инстинкта самосохранения, удаляются естественным отбором. Это первый приказ жизни - жить!

Если же мы говорим о ИИ, заключенном в тело робота (не обязательно антропоморфное), то перед нами уже не просто робот, а искусственное живое существо, со всеми вытакающими последствиями.

Что до цивилизации разумных роботов на месте человечества - что ж, такое тоже может быть. Только я думаю, что нас скорее поджидает опасность (или перспектива?) осознанного изменения человеческого генома в сторону его улучшения. Как только мы разберемся, как именно функционирует живая клетка (а успехи молекулярной биологии за последние пару десятков лет реально поражают), у нас появится сильное искушение сначала "подлатать" свой геном (например, избавиться от наследственных болезней), ну а потом и переписать его. Сделать себя умнее, сильнее, выносливее, вырастить себе жабры для возможности сутками находиться под водой... да мало ли Проблема в том, что такая генная перестройка очевидно будет сделана не со всеми людьми, и человечество может расслоится на несколько рас-видов. И не факт, что преимущество в новом мире будет у людей "дикого типа" (т.е. нас, какие мы есть сейчас).
Для нас, homo sapiens, перспектива не самая радужная, но если смотреть шире, ничего страшного не произойдет. Просто эволюция пойдет дальше И наши далекие потомки будут смотреть на нас, как мы сами на питекантропов (homo habilis и т.п.)

Возвращаясь к роботам. После просмотра 3-го фильма "Матрица", у меня сложилось впечатление, что машины нуждались в людях не только как в батарейках И Зион не был разрушен по этому же. Мы для них - вечная загадка, то, что дразнит своей непостижимостью - при всей слабости, нелогичности и пр., они нуждаются в нас, чтобы смотреть наши сны Поэтому вопрос или-или не стоит - мы без них не можем (уже), а они не могут без нас. Придется искать возможности для симбиоза на приемлемых для нас условиях

[ivanij]

  Если уж говорить о роботах, то как не вспомнить "Три закона рототехники" А.Азимова.

  1. Робот не может причинить вред человеку.
  2. Робот обязан заботиться о безопасности человека (здесь не уверен, что помню правильно).
  3. Робот обязан заботиться о собственной безопасности, в той мере, в которой это не противоречит первому и второму законам.

 Возможно, я не совсем точно формулирую (цитирую по памяти), но смысл, кажется не искажаю.
 Я часто упоминал эти законы, когда читал курс Стандартизации и сертификации для студентов специальности "Автоматизация технологических процессов". Там у них на кафедре любопытные работы проводились в т.ч. и в смутные 90-е. Например исследования по зрению роботов. Правда, самые простейшие - может ли робот отличить болт от гайки или годную по размеру деталь отсортировать от негодной. Это не совсем измерение - скорость этого процесса (связанного со зрением) гораздо выше, чем обыкновенного измерения в нашем обычном понимании.

[vlad01]

1. Робот не может причинить вред человеку.
  2. Робот обязан заботиться о безопасности человека (здесь не уверен, что помню правильно).
  3. Робот обязан заботиться о собственной безопасности, в той мере, в которой это не противоречит первому и второму законам.

если робот будет обладать разумом :он легко прийдёт к выводу , что эти законы пустышка , пустой звук- условности ...
ДИСКРИМИНАЦИЯ .. И  естественной его реакцией будет устранить источник дискриминации - уничтожить людей - которые являються угрозой его существованию ,и угнетают машины......

[vika vorobyeva]

если робот будет обладать разумом :он легко прийдёт к выводу , что эти законы пустышка , пустой звук- условности ...
ДИСКРИМИНАЦИЯ .. И  естественной его реакцией будет устранить источник дискриминации - уничтожить людей - которые являються угрозой его существованию ,и угнетают машини......

Человек, обладающий разумом, тоже может решить, что жизнь - пустая и глупая штука, что смерть неизбежна, и что рыпаться нет никакого смысла. И что - многие кончают с собой после этого? Инстинкт самосохранения - штука очень мощная. У робота нравственный закон "не причинять человеку вред" тоже может быть очень мощным. Проще говоря, они будут нас любить

[Vladimir2]

>А вот интересно, какой стимул к жизни может быть у роботов?
У человека стимул к жизни задается врожденными инстинктами, доставшимися в наследство от животных предков.
В их числе:
инстинкты самосохранения и продолжения рода, социальные (стайные) инстинкты - человек существо стайное, в одиночку жить не способен
и очень важные для развития, творчества игровой инстинкт и инстинкт любопытства
Именно последние будут основой человеческой цивилизации в будущем.
У роботов цель, стимул жизни задается создающим их человеком. Но поскольку в дальнейшем роботы будут создавать свое продолжение, то они могут изменить этот стимул. Очевидно сильнейшим стимулом будет стремление к познанию и самосовершенствованию (эквивалент инстинктов любопытства и игрового у человека) - без этого роботы творческие были бы вообще бесполезны, их развитие было бы ограничено ограниченностью людей, а смысл создания таких роботов может быть только в преодолении ограниченности людей. Т.е. если изначально задать роботу цель - служение человеку, то он будет бесполезен как творческий. Либо начнет сам определять а что же лучше всего для человека (ага, "Звездные дневники Йона Тихого").
Понятно, что с роботами не способными к саморазвитию проблем нет.
Эмоции у человека - лишь проявления требований инстинктов на уровне сознания.
Роботы, которые будут нас любить? Ню-ню. Ст. Лем об этом писал уже. И от любви построят дворец осчастливливания в котором будут превращать людей в твердые вечные формы и выкладывать из них геометрические фигуры. Потому что это лучший способ сделать людей если не счастливыми то минимально несчастными.
Любовь штука страшная порой. От любви и убивают и мучают и много всяких непотребств творят. Матери от любви к детям порой так их калечат интеллектуально и морально, превращают в инвалидов - не раз наблюдал. Нет уж, лучше без любви. По крайней мере со стороны роботов. Пусть меня любит моя жена, дети, кошка, а любвь роботов нафиг не нужна.
О возможности дальнейшего совершенствования человека - возможностей мозга и тела я не писал, но это очевидно предполагается и будет необходимо в будущем. Это собственно еще надежда на то что прогресс не остановится, а значит человечество будет жить. Но это не отменяет необходимость космической экспансии.

[vlad01]

 

У робота нравственный закон "не причинять человеку вред" тоже может быть очень мощным. Проще говоря, они будут нас любить

  улыбнуло ...
роботам такие чувства как любовь неведомы .. им любить нечем-утрирую .. У них есть логическое мышление .....

Человек, обладающий разумом, тоже может решить, что жизнь - пустая и глупая штука, что смерть неизбежна, и что рыпаться нет никакого смысла.

ну почему ? от жизни можно и получать удовольствие каждый день !!! в том или в ином виде...
а вот смерть неизбежна - эт точно ..... В бесконечности течении времени все умрут (перейдут в иное состояние материи), абсолютно все  .....

[Алмин]

>А вот интересно, какой стимул к жизни может быть у роботов?
У человека стимул к жизни задается врожденными инстинктами, доставшимися в наследство от животных предков.
В их числе:
инстинкты самосохранения и продолжения рода, социальные (стайные) инстинкты - человек существо стайное, в одиночку жить не способен
и очень важные для развития, творчества игровой инстинкт и инстинкт любопытства

А разве роботам нельзя инстинкты привить? Записать куды-нить, в BIOS, например. Или в реестр операционной системы. И чтоб передавалось из поколения в поколение.

[Vladimir2]

А разве роботам нельзя инстинкты привить? Записать куды-нить, в BIOS, например. Или в реестр операционной системы. И чтоб передавалось из поколения в поколение.
[/quote]
Ну дык я о том и пишу. Конечно у разумных роботов должна быть своя система предпочтений эквивалентная инстинктам - не суть важно куда она записана. Что-то же должно им задавать направление и смысл деятельности. Другое дело, что эта система не обязательно должна совпадать с человеческой да и меняться она может намного быстрее чем у человека. У человека то она в геноме записана, а он в природе медленно меняется.
В этом и есть одно из преимуществ разумных роботов перед человеком и их опасность для человека.
Тут такая штука: боюсь что возможность создать разумных роботов у человека может появиться раньше, чем возможность свободно менять свой геном.

[ivanij]

  Ну, конечно, какая же любовь у роботов? Три закона роботехники это не эмоции, а строгая программа для компьютера.

[Klapaucius]

  Ну, конечно, какая же любовь у роботов? Три закона роботехники это не эмоции, а строгая программа для компьютера.

То есть инстинкт, преодолеваемый разумом, логическими построениями реализуемыми волевым путём. Что бы мы ни вкладывали в более сложную систему чем мы, результат будет от нас не очень зависеть. То есть можно испугаться и остановиться, деградировать, а можно рано или поздно потерять контроль (возможно даже не заметив этого).
Ключевое слово ко всему: любопытство. "Следующей ступени" мы будем уже не конкуренты или лишний груз, от которых надо избавиться, а объект для исследований и разного рода практического применения. Мы же не уничтожаем зоопарки и газоны, кошек и собак, заповедники и менее развитые государства, вообще всё живое, только потому, что считаем это менее развитым чем мы сами. Стоящим вне столбовой дороги некоего прогресса.

[Olweg]

Человек, обладающий разумом, тоже может решить, что жизнь - пустая и глупая штука, что смерть неизбежна, и что рыпаться нет никакого смысла. И что - многие кончают с собой после этого? Инстинкт самосохранения - штука очень мощная. У робота нравственный закон "не причинять человеку вред" тоже может быть очень мощным. Проще говоря, они будут нас любить

И убивать, рыдая от горя

[Olweg]

Среди роботов возникнет религиозное движение со своими фанатиками-шахидами. Только убивать они будут не себя, а людей, чтобы те скорее попали в рай. Ну а самим шахидами после этого только один путь - в кибер-ад, однако любовь к человек важнее спасения собственной души

[ivanij]

   Ну что вы, ув.Olweg и Klapaucius  какие эмоции , какая религия!? Ведь это же роботы, т.е. обыкновенные компьютеры, заранее запрограммированные. Ну может, более сложные, чем теперешние агрегаты. Однако ни о каких эмоциях или абстрактном мышлении не может быть и речи.

[Klapaucius]

Любой живой организм обладает рефлексами и инстинктами - неким аналогом программы. Но вед есть ещё понятие самообучения. Достаточно сложные организмы, в зависимости от внешних условий ведут себя по-разному. И даже в некоторой степени формируются по-разному. Аналог этого тоже давно, десятки лет, присутствует в искусственных самообучающихся системах.

За основу искуссвенной системы может быть проще всего на определённом этапе окажется взять человеческий мозг. Но если даже удастся построить похожие по сложности системы другими путями, вопрос их "программирования" будет определяться не только и не столько базовой "программой" (в данном случае аналог ДНК), сколько окружающими условиями (окружающие условия можно жёско задать, есть яркий пример в истории - компрачикосы) и стоящими задачами.
То есть такие "мозги" можно будет отправлять в ясли и детский сад, не вижу препятствий (в чём различие между естественным и искуственным?). И если им предопределить другую цель (прогнозирование погоды, контроль завода, или системы обороны государства, не развивая этап личностной идентификации), возникнут вопросы морального порядка. Независимо от того, имеют ли такие "мозги" в основе наши ДНК, или сделаны другим образом.

[Olweg]

   Ну что вы, ув.Olweg и Klapaucius  какие эмоции , какая религия!? Ведь это же роботы, т.е. обыкновенные компьютеры, заранее запрограммированные. Ну может, более сложные, чем теперешние агрегаты. Однако ни о каких эмоциях или абстрактном мышлении не может быть и речи.

А что такое эмоция? Это реакция нервной системы на раздражитель. Какая разница, запрограммирована эта реакция эволюцией или человеком.