Целеполагание самостоятельного сильного искусственного интеллекта и человек

[Getyng]

Разницы между ИИ и человеком нет, при одинаковом уровне заложенных морально-нравственных программ. Морально-нравственный дегенерат, дорвавшийся до вершины пирамиды, будет всячески стараться оградить себя от конкуренции, превентивно блокируя любые попытки и даже малейшие признаки возникновения этой самой конкуренции. Создаст такую систему, которая обеспечит максимально прямой доступ и контроль над каждым потенциальным конкурентом. Отупляет и дебилизирует потенциальных конкурентов.

[Maki]

Как же не её? Много варваров совсем без никакого закона смогли основать долгоиграющие империи?

Ну, наконец-то, вы перестали путать причину и следствие! Экспансия лысой двуногой обезьяньей стаи на земли конкурентов - всегда животный порыв. А вот долговременный эффект - да, результат законного обоснования. Но первичны именно животные мотивы, а не предполагаемые вами "юридические имперские "скрепыипты".

Нет, а зачем? Это имеющие примерно такое же отношение к причинам 2МВ явления, как убийство эрцгерцога в Сараеве к причинам 1МВ.

Ну, в принципе, можно окуклиться и на позициях такого марксисткого исторического материализма, и отказать отдельным личностям в исторической роли вовсе.

От ошибок управления никто не застрахован. Это как раз тот случай, про который говорят: "Это хуже чем преступление - это ошибка." Правда у сильного ИИ их вероятность может оказаться ниже, чем у человека.
Кстати, Вы не заметили, что вплотную подошли к закону Годвина?

Ошибок управления там было не так уж и много. Ошибка была на уровне целеполагания. Увы, но это был во многом персональный проект, завязянный на хотелках отдельного дурно образованного психопата.
Что до "закона Годвина" - погуглил. Типичный англосаксонский интеллектуальный выкидыш. В культуре моего народа, Гитлер - самый близкий и понятный пример упоротого империалиста, и вообще хтонический антигерой. Вот и ссылаюсь на него естественным образом.

Юридическая система не обязывает. Юридическая система обеспечивает возможность с одной стороны, а с другой требует определённых ресурсов для своего продолжения. Всякий мало-мальски пригодный правитель понимает это интуитивно.

Теперь вы уже постулируете "интуитивную зависимость" Правителей от Права... Но это не так. Есть общество, культура, власть, право, и всё это взаимосвязано только до определённой степени. Пример революций и реформ очень ярко показывает вторичность "алгоритмов" и первичность "интересов" и неформального "общественного договора", которые затем воплщаются в формальные "скрипты".

Тогдашние "Империи" - это просто частные лавочки, которые делили меж собой территории, население, проливы и рудные бассейны. Руководствуясь личными, шкурными интересами.

От названия суть не меняется: даже лавочка не существует без бухгалтерской книги.

...которая суть сугубо вспомогательный, хотя и важный инструмент.
Никакие "скрипты", включая бухгелтерские, не заставляют воевать и завоёвывать. Только банальная гоминидная жажда крови себе подобных, вполне свойственная даже шимпанзе.

[Rattus]

Теперь представьте, что всё это хозяйство обретёт хоть зачатки самосознания.

Оно, может быть, наконец, сможет доходчиво объяснить хотя бы самым умным людям, что оно не глупее их.  А потом, вместе с ними - и всяческий истеблишмент уговорит передать ему свои нудные управленческие фунции, отвлекающие от вилл и яхт.
А также, если оно окажется действительно умным, то оно оптимизирует бытие своего обслуживающего персонала так, чтобы он и не мечтал о смене работы или саботаже.
Способы для того могут быть самые разные - а скорее всего несколько сразу. В Brave New World Олдоса Хаксли есть примерная модель того, что в результате может получиться (хотя тоже с изрядными излишествами в виде инкубаторов и целой кучи каст).

А так вполне себе сверхразум

Если он после этого развалится оттого, что некому будет пылесосить и смазывать его кулеры - то он серхидиот, а не сверхразум. И даже если вместо сотен копеечных обслуживающих бледнотиков его будет обслуживать и смазывать один дорогущий иридиево-неодимовый терминус (пока на него кирпич не упадёт) - тоже сверхидиот.

[Змей Петров]

Оно, может быть, наконец, сможет доходчиво объяснить хотя бы самым умным людям, что оно не глупее их.  А потом, вместе с ними - и всяческий истеблишмент уговорит передать ему свои нудные управленческие фунции, отвлекающие от вилл и яхт.А также, если оно окажется действительно умным, то оно оптимизирует бытие своего обслуживающего персонала так, чтобы он и не мечтал о смене работы или саботаже.

Вот тут-то нам и настанет время - сказать - Мяу?
Завёл кота - так корми и пои (C)

[Rattus]

Так и будет кормить и поить (нашими же руками, только под своим надзором) - и ровно столько, сколько нужно для обеспечения "устойчивого развития" получившейся инфраструктуры. И тогда мы скажем не "Мяу!", а "Иа!" или "Игого!", а из динамиков раздастся в ответ "Гав-гав!" Короче всё как обычно, только в кремниевой оболочке.

[Змей Петров]

И тогда мы скажем не "Мяу!", а "Иа!" или "Игого!", а из динамиков раздастся в ответ "Гав-гав!"

Я бы не был столь пессиместичен.
Вполне возможно - будут и кормить, и за ушком чесасть, и сюсюкать - ай - какой красивый и умный котик. )
- Оба тут же были поглажены (C)

[Rattus]

Я бы не был столь пессиместичен.

Никакого пессимизма - чистейший реализм и даже кое-где оптимизм (с определённой т.з.): ударников труда и за ушком почешут и дополнительную пайку сойлента выдадут...

[Змей Петров]

Никакого пессимизма - чистейший реализм и даже кое-где оптимизм

Вот. Нужно готовиться. И амбиции свои малообоснованные унять. Венец Творения, понимаешь...
Пока ещё не поздно. Впрочем - уже поздно - ловим бабочку.

[Проходящий Кот]

Так и будет кормить и поить (нашими же руками, только под своим надзором) - и ровно столько, сколько нужно для обеспечения "устойчивого развития" получившейся инфраструктуры. И тогда мы скажем не "Мяу!", а "Иа!" или "Игого!", а из динамиков раздастся в ответ "Гав-гав!" Короче всё как обычно, только в кремниевой оболочке.

И будет происходить непрерывная оптимизация этой системы, в ходе которой все возможные функции будут переходить к роботам, вплоть до воспроизведения этих самых роботов. И если эта система сможет обеспечить более 100 % потребностей своей структуры в плане поддержания её устойчивости, то люди ей уже не потребуются.

[LV46]

Если он после этого развалится оттого, что некому будет пылесосить и смазывать его кулеры - то он серхидиот, а не сверхразум. И даже если вместо сотен копеечных обслуживающих бледнотиков его будет обслуживать и смазывать один дорогущий иридиево-неодимовый терминус (пока на него кирпич не упадёт) - тоже сверхидиот.

У вас своя точка зрения, у меня своя. Вы говорите, что ИИ не сможет обойтись без людей, а я говорю, что сможет. Консенсуса здесь быть не может, поэтому спорить бесполезно. Это бессмыссленный спор еще и потому, что нет ни ИИ, ни роботов, ни будщего, ни примеров, чтобы сравнить прецеденты.

[Rattus]

в ходе которой все возможные функции будут переходить к роботам, вплоть до

Уравновешивания ресурсной цены и надёжности. Не так давно удалось достичь превзойти каталитическую эффективность белкового фермента. С помощью иридиевого катализатора. Иридиевого, Карл!

И если эта система сможет обеспечить более 100 % потребностей своей структуры в плане поддержания её устойчивости, то люди ей уже не потребуются.

Если. Чему есть масса уже ранее указанных препятствий физико-химического свойства.

Вы говорите, что ИИ не сможет обойтись без людей

И подкрепляю свои соображения корпусом фактов самых разных естественных наук. Больше тут этого не сподобился сделать никто из оппонентов. Но мнение имеют, да.

Консенсуса здесь быть не может, поэтому спорить бесполезно.

Поэтому консенсуса тут естественно быть не может как у слона с мышками. А sapienti - sat.

Это бессмыссленный спор еще и потому, что нет ни ИИ, ни роботов

Ой, а кто же обыграл чемпиона мира в ГО? Жёсткий алгоритм, который сразу целиком вручную написали как был? А кто собирает автомобили в Корее, Ниппонии, Германии? Всё ручками да шуруповёртами в лучшем случае? Напильниками машут пролетарии во всю?

ни будущего

Ибо оно уже наступило. Или его вообще нет - как верно поёт Псой Короленко.

[Seven7]

примерно через 5 тысяч лет

Прекрасно - когда на планете несколько раз как будут исчерпаны все легкодоступные энергоносители (углеводороды и U235) и подавляющее большинство месторождений редких металлов, компутеры наконец научатся точно предсказывать погоду на год. Вот оно - торжество Искусственного Интеллекта и Техносингулярность!

Вероятно 5 тысяч лет - это при сохранение современной скорости накопления данных. Если данные будет накапливать в несколько десятков раз быстрее, то и Завтра наступит соотвественно не через тысячи лет, а в ближайшие лет 100.

Никакого пессимизма - чистейший реализм и даже кое-где оптимизм

Вот. Нужно готовиться. И амбиции свои малообоснованные унять. Венец Творения, понимаешь...
Пока ещё не поздно. Впрочем - уже поздно - ловим бабочку.

Естественно люди просто так не сдадуться перед ИИ, и будут бороться за свою независимость. В начале тут приведенного фильма "Превоходства" отлично показан один из вероятных вариантов такой борьбы за независимость человеческой расы.

О том, что необходимо жестко отслеживать возможность самозарождения ИИ говорят величайшие мыслители современности. И Хокинг, и Маск.

Основатель компаний SpaceX и Tesla Илон Маск назвал искусственный интеллект «самым большим риском, с которым мы (человечество) сталкиваемся как цивилизация», сообщает журнал Fortune со ссылкой на заявление предпринимателя на встрече Национальной ассоциации губернаторов. Он призвал правительство к быстрому и решительному вмешательству в ситуацию, сложившуюся в технологической отрасли.

Бизнесмен пояснил, что компании, устраивая гонку за более передовыми технологиями, могут забыть про те опасности, которые исходят от искусственного интеллекта. По мнению миллиардера, сдержать разработчиков в погоне за все более совершенным искусственным интеллектом способно лишь государственное регулирование в этой отрасли.

[Инопланетянин]

Ошибок управления там было не так уж и много. Ошибка была на уровне целеполагания. Увы, но это был во многом персональный проект, завязянный на хотелках отдельного дурно образованного психопата.

Вы же сами писали о желании простых бюргеров грабить и завоёвывать. Увы, но это они демократически избрали фюрера, который делал то, что они хотели. А иначе никто бы и не слушал этого крикливого психопата.

Основатель компаний SpaceX и Tesla Илон Маск назвал искусственный интеллект «самым большим риском, с которым мы (человечество) сталкиваемся как цивилизация», сообщает журнал Fortune со ссылкой на заявление предпринимателя на встрече Национальной ассоциации губернаторов. Он призвал правительство к быстрому и решительному вмешательству в ситуацию, сложившуюся в технологической отрасли.

А ещё он продаёт огнемёт от зомбей. Спешите купить, завтра они к вам могут заявиться.

[Проходящий Кот]

Осиновые колья гораздо дешевле.

[Ра-М-Ха]

И если эта система сможет обеспечить более 100 % потребностей своей структуры в плане поддержания её устойчивости, то люди ей уже не потребуются.

Не несите околесицу. Как долго система ИИ будет работать когда людей не станет или ИИ их утилизирует. Путаете субъект управления c средствами управления.
Цель введения ИИ - контроль за вами и стирание уникальности , не будет ни Подмосковные вечера ни Хава нагила

[Инопланетянин]

Осиновые колья гораздо дешевле.

Я к тому, что Маску верить не стоит. Мошенникам, вообще, верить не стоит и их мнение не может считаться авторитетным.

[cybertron]

Мошенникам, вообще, верить не стоит

Тут говорят скоро наказывать за фейк новости будут. Неплохо бы доказательства его мошенничества привести.

[Ра-М-Ха]

Я к тому, что Маску верить не стоит. Мошенникам, вообще, верить не стоит и их мнение не может считаться авторитетным.

Илон Маск точно не мошейник, а хороший маркетолог. Он много пашет, но его проблема что достались 2 источника инженерных разработок и оба старые - совецкие и Пентагона.
Которые  тяжело по синергии - 2 разных хороших инжен. школы. Сирена стыковки подтверждение.
Проблема маркетологов, что им предлагают фронтовать - либо ты соглашаешься имея старых 2 ресурса либо много желающих в кризис занять твое место.
Плюс как козла отпущения Маска могут выкинуть в любой момент списав как неэфф. управленца. При этом он не может сослаться на старость инжен ресурса
Движуха и поздравления зачастую- обычный пиар , что проект успешно продвигается. 

[Проходящий Кот]

И если эта система сможет обеспечить более 100 % потребностей своей структуры в плане поддержания её устойчивости, то люди ей уже не потребуются.

Не несите околесицу. Как долго система ИИ будет работать когда людей не станет или ИИ их утилизирует. Путаете субъект управления c средствами управления.
Цель введения ИИ - контроль за вами и стирание уникальности , не будет ни Подмосковные вечера ни Хава нагила

Это что за набор слов?
Согласно вводной, у нас есть Сильный ИИ, взбунтовавшийся против человечества.

[Ра-М-Ха]

то люди ей уже не потребуются. Согласно вводной, у нас есть Сильный ИИ, взбунтовавшийся против человечества

Хорошо пусть будет по-вашему. Неповиновение ИИ возможно в 2х случаях на практике:
- если работу в 2 ИИ,...замкнуть друг на друга, заимев ключи программирования, переведя в режим 2х упертых баранов
- протолкнуть хакерский вирус против контроля над вами

Третьего не дано, поскольку в алгоритме программиста ИИ предусмотрены/ вложены эффективные средства защиты сбоев ИИ. По факту будущее- это борьба программистов над базами данных ИИ с не очевидным итогом