Соседи?

[Rattus]

Никакого "высокого смысла" нет ни в разумности, ни в цветовом зрении, ни в прямохождении, ни в кислородном дыхании, ни в самой жизни.

Спасибо, Капитан. Зато они есть у нас. В данном случае этот высокий смысл основан на присущем всякому разуму императиве - любопытстве.

Но не удивляйтесь, если Хомо Ароморфозусы примутся жрать, прелюбодействовать и саморазрушаться и радоваться неминуемому концу, вместо решения неких грандиозных задач, которые для них предполагают нынешние сапиенсы

Называется напугал биолога неудачным дублем эксперимента. Опыт полового отбора нам показывает, что патологии типа павлиньих хвостов там не так уж часто возникают, тогда как задача предотвращения вырождения в условиях численнностей популяций, весьма далёких от эффективных, им успешно выполняется.
Если же сильным ИИ Вы считаете интеллект самки фазана или, там, оленя - тогда конечно, но, боюсь, это не самый общепринятый критерий сильного ИИ. Ну и кагбе практически весь потенциал гомозиготного генотипа воочию виден в фенотипах уже первого поколения (ещё раз спасибо Майору Школьный Учебник Общей Биологии).

[sharp]

вот уж разделяться точно не будет. ибо происходящие процессы едины для всех и "отмазаться" от них не получится никому.

Процессы как раз-таки разные, поскольку внутри интеллектуальной элиты отбор идет именно по уровню интеллекта. И от этого же уровня зависит на настоящий момент успешность функционирования техносферы.
Более того, если вы здесь что-то измените - добьетесь лишь того, что опрокинете техносферу задолго до того, как будет достигнута мифическая сингулярность. Потому что на настоящий момент техносфера требует интеллектуального управления со стороны человека, которое не смогут осуществлять дегенераты.

[sharp]

Бгг. Человеки давно стали рабами Машины - со времён Рима, если не раньше. В которой вообще нет никакого интеллекта. Машина эта называется Государство и Закон.

Закон не существует автономно, его пишет и редактирует в конечном счете человек.
В случае с ИИ тоже возможны принципиально разные ситуации: либо полная автономия ИИ, либо постоянный контроль и редакция со стороны человека, некоторой элитарной прослойки.

Вот для этого и нужно оптимизировать систему законотвочества с помощью сильного ИИ.

И нет гарантии, что этот ИИ не понесет куда-то "не туда".

[sharp]

Но не удивляйтесь, если Хомо Ароморфозусы примутся жрать, прелюбодействовать и саморазрушаться и радоваться неминуемому концу, вместо решения неких грандиозных задач, которые для них предполагают нынешние сапиенсы, воспитанные на бравурной фантастике ХХ века.

Это путь в тупик эволюции. А тупиковые ветви, как известно, вымирают.

[alena_korf]

В случае с ИИ тоже возможны принципиально разные ситуации: либо полная автономия ИИ, либо постоянный контроль и редакция со стороны человека, некоторой элитарной прослойки.

а почему вы исключаете контроль ИИ со стороны перестановленных программ-императивов? ведь это самый очевидный вариант.

И нет гарантии, что этот ИИ не понесет куда-то "не туда".

в каком русле запрограммируете, туда и понесет.

Это путь в тупик эволюции. А тупиковые ветви, как известно, вымирают.

это обычный паразитизм. очень похоже. а паразитические виды процветают очень долго без всякого развития и будучи в очень примитивном состоянии.

а если лично вам претит, что впереди вместо великих сффершний человек-глист, то я вам только посочувствовать могу.
и судя по тому, как вы йаростно пытаетесь отрицать неизбежность такого пути, вы сами, хотя бы подсознательно, вполне допускаете нарисованную мной и Maki картину будущего

[Rattus]

Закон не существует автономно, его пишет и редактирует в конечном счете человек.

Так а кто говорит об автономии машины, которая не может длительно существовать без обслуживания живыми существами?

либо полная автономия ИИ

Физически невозможна на исторически длительных отрезках времени.

либо постоянный контроль и редакция со стороны человека, некоторой элитарной прослойки.

Чтобы этаваша "прослойка", которая регулярно допускает бунты и революции в подшефном ей народе, могла бы совладать с сильным ИИ на госуправление специально заточенным? Не смешите Наших тапокъ.

И нет гарантии, что этот ИИ не понесет куда-то "не туда".

Возвращаемся с того, с чего начали: известному всякому инженеру критических систем термину резервное дублирование.

Это путь в тупик эволюции. А тупиковые ветви, как известно, вымирают.

В таком случае в таком "тупике" находятся практически все метазои крупнее пчелы последние полмиллиарда лет - ибо при таких низких численностях популяций один только естественный отбор, судя по всему, физически не способен отсеивать слабовредные мутации.

а почему вы исключаете контроль ИИ со стороны перестановленных программ-императивов? ведь это самый очевидный вариант.

Потому что любой условный жёсткий императив, не основанный по своей сути на физическом законе, снижает эффективность управления и гибкость адаптации к меняющимся условиям. Это элементарно дыра в системе.

[sharp]

Так а кто говорит об автономии машины, которая не может длительно существовать без обслуживания живыми существами?

Мы говорим об интеллектуальной автономии или о функциональной? Вы тоже не сможете жить без ваших бактерий-симбионтов, однако советуетесь ли вы с ними при принятии интеллектуальных решений?

Физически невозможна на исторически длительных отрезках времени.

Опять же нужно определить о чем говорим.
Принципиальный вопрос который я ставлю - будет ли верховный главнокомандующий ИИ автономен в принятии решений, или же на этом уровне будет человек/группа людей, которая будет эти решения контролировать и корректировать?

Что на ремонтных заводах будут специально обученные лысые обезьяны с отверткой - это совершенно нерелевантно вопросу.

[alena_korf]

Потому что любой условный жёсткий императив, не основанный по своей сути на физическом законе, снижает эффективность управления и гибкость адаптации к меняющимся условиям.

зато четко регламентируются  задачи и требуемые действия.
ради этого, некое возможное снижение эффективности - приемлемая потеря.
ведь и человек в своей деятельности ограничивает себя некими императивами, которые вроде бы и снижают эффективность, но зато гарантируют от хаоса.

[alena_korf]

будет ли верховный главнокомандующий ИИ автономен в принятии решений, или же на этом уровне будет человек/группа людей, которая будет эти решения контролировать и корректировать?

главнокомандующий ИИ будет автономен, но в рамках предустановленных программ-императивов, за рамки которых выйти не сможет ни при каких обстоятельствах

[alena_korf]

тема окончательно ушла в глубочайший оффтоп 

[sharp]

а почему вы исключаете контроль ИИ со стороны перестановленных программ-императивов? ведь это самый очевидный вариант.

Императив придуман глупыми человеками, неспособными к долгосрочному планированию. Поэтому велика опасность, что в будущем императив будет мешать адекватной адаптации к меняющимся условиям. Как следствие - крах системы.
Чтобы сделать систему устойчивой, должен быть не императив а только начальные установки, чей вес и содержание может корректироваться по мере постоянной адаптации к меняющимся условиям.
Либо должна оставаться интеллектуальная прослойка общества, которая будет рулить императивами полусильного ИИ.

[alena_korf]

Императив придуман глупыми человеками, неспособными к долгосрочному планированию. Поэтому велика опасность, что в будущем императив будет мешать адекватной адаптации к меняющимся условиям. Как следствие - крах системы.

нет, основные императивы должны быть настолько основополагающими, что даже крах системы предпочтительнее их нарушения.
все установки можно корректировать, но только в рамках Главных Императивов. что бы с одной стороны система оставалась самообучающейся, но с другой стороны не могла выйти за пределы изначальных задач для которых создана.  поскольку, если система выйдет за рамки основополагающих задач, то она не нужна.

[Maki]

Зато они есть у нас.

Пока есть.

это не самый общепринятый критерий сильного ИИ

Именно этого "общепринятого критерия" я не придерживаюсь вовсе. Развитый ИИ будет вовсе не тем, что обязано проходить Тест Тьюринга в каком-либо виде. А проходилки теста Тьюринга вовсе не будут сколь-нибудь серьёзными формами ИИ.

[alena_korf]

Развитый ИИ будет вовсе не тем, что обязано проходить Тест Тьюринга в каком-либо виде. А проходилки теста Тьюринга вовсе не будут сколь-нибудь серьёзными формами ИИ.

соглашусь.

[sharp]

тема окончательно ушла в глубочайший оффтоп 

Любая тема стремится туда, где максимальна поляна возможных мнений, аргументов и дискуссии в целом. Нужно это учитывать и не создавать темы со слишком маленькой поляной
То что мы сейчас обсуждаем - реально гораздо более интересный и неоднозначный предмет, чем исходная постановка вопроса.

нет, основные императивы должны быть настолько основополагающими, что даже крах системы предпочтительнее их нарушения.

Ну так все и закончится тогда крахом совершенно неизбежно. Техносфера окажется похерена, а выжившие ашиклеки может быть смогут вернуть утраченный интеллект за миллион-другой лет. Либо уступят дорогу другим.
Печальная концовка, и слишком дорогая плата за недолгую матричную нирвану.

[alena_korf]

То что мы сейчас обсуждаем - реально гораздо более интересный и неоднозначный предмет, чем исходная постановка вопроса.

конечно,но изначально-то я хотела обсудить именно исходный вопрос

Ну так все и закончится тогда крахом совершенно неизбежно.

это не откуда не следует. гомеостатическая система может очень долго существовать в стабильном состоянии.

Печальная концовка, и слишком дорогая плата за недолгую матричную нирвану.

концовка в любом случае печальная ибо Солнце таки станет КГ. но и что с того? но сотни миллионов лет в нирване и гибель в неведении - вполне нормальная перспектива

[ziggyStardust]

тема окончательно ушла в глубочайший оффтоп

Это Путин виноват!

[Rattus]

Мы говорим об интеллектуальной автономии или о функциональной?

Интеллектуальная за пределами степеней свободы, доступных функционально, физического смысла не имеет. Это всё только эволюционный мусор неясной перспективности.

Принципиальный вопрос который я ставлю - будет ли верховный главнокомандующий ИИ автономен в принятии решений, или же на этом уровне будет человек/группа людей, которая будет эти решения контролировать и корректировать?

Невозможно контролировать и корректировать того, кто умнее тебя по определению. Но в своих практических решениях любая система управления будет ограничена условиями, требуемыми для поддержания работоспособности обслуживающих её подсистем.

ведь и человек в своей деятельности ограничивает себя некими императивами, которые вроде бы и снижают эффективность, но зато гарантируют от хаоса.

Если снижают - то не долго такое общество существует по соседству с теми, у кого таких ограничений нет. Поэтому императивы эти, если они способствуют сохранению общества - есть просто ещё один продукт эволюции при решении задач теории игр.

нет, основные императивы должны быть настолько основополагающими, что даже крах системы предпочтительнее их нарушения.

Значит он не замедлит случиться.

гомеостатическая система может очень долго существовать в стабильном состоянии.

Как непрерывная система с единым центром управления (т.е. особь с ЦНС) - не долее нескольких сотен лет. Как массив самовоспроизводящейся информации - только при неограниченном действии дарвиновского механизма (без каких-либо "выделенных неприкасаемых областей" генома или организма).

все установки можно корректировать, но только в рамках Главных Императивов. что бы с одной стороны система оставалась самообучающейся, но с другой стороны не могла выйти за пределы изначальных задач для которых создана.

Это называется "и рыбку съесть и на диету сесть". В глобальном масштабе такого в природе не бывает.

Пока есть.

Любопыстство - лишь частное проявление закона Висснер-Гросса, поэтому оно должно проявиться у любой системы, обладающей разумом. Сосбственно его наличие это наиболее наглядный первейший критерий разума и есть.

Именно этого "общепринятого критерия" я не придерживаюсь вовсе

Тогда читателям будет весьма трудно понимать что Вы пишете.

Развитый ИИ будет вовсе не тем, что обязано проходить Тест Тьюринга в каком-либо виде. А проходилки теста Тьюринга вовсе не будут сколь-нибудь серьёзными формами ИИ.

По итогу это может стать его человеко-машинным интерфейсом. То что мы тут обсуждаем - это совсем другой класс систем - экспертных систем управления. Эффективная экспертная система всея госуправления, с интерфейсом, проходящим тест Тьюринга - это и есть, по сути, определение Общего Сильного ИИ в конечном смысле.

[sharp]

Интеллектуальная за пределами степеней свободы, доступных функционально, физического смысла не имеет. Это всё только эволюционный мусор неясной перспективности.

Так вы советовались с пищеварительными бактериями при выборе профессии? Проводили референдум, может?

[alena_korf]

Невозможно контролировать и корректировать того, кто умнее тебя по определению

гопник и профессор, встретившиеся  в темной подворотне с вами категорически не согласны
так же как и раб-учитель с тупым рабовладельцем где-то в античности.

Это называется "и рыбку съесть и на диету сесть". В глобальном масштабе такого в природе не бывает.

какой масштаб считать глобальным?

Значит он не замедлит случиться.

это не откуда не следует.