Проблема мотивации самостоятельного сильного искусственного интеллекта

[Forest]

ИИ будет не жизнеспособен,так как не удовлетворяет критериям  способность и жизнь. Любой электрик из жэка его вам отключит за неуплату.

Ну человека тоже можно отключить за неуплату за воздух. Вопрос темы предполагается таким "жизнеспособен ли ИИ в долгосрочной перспективе?". Ну хотя бы тысячу лет.

А так то оно конечно.. Техносфера подразумевает выгодный обмен природных ресурсов на продукты с высокой добавленной стоимостью. Раз изобретя ложку ее нельзя изобрести обратно. Так же и с ИИ.

[николай теллалов]

хотя бы тысячу лет

в неизменном виде?
скорее всего логично ожидать, что ИИ будет совершенствовать себя не только в "личном плане", но и апгрейдить свой хардуер - сначала с помощью "людских" производств и с людского ведома, потом заведет свои или воспользуется заводскими мощностями, поверенных ему для управления, "втихаря" (если люди откажут ему производить то, что он разработает и закажет)

так что - не константа этот ИИ, ни как интелектуальное развитие, ни как носители

[Forest]

хотя бы тысячу лет

в неизменном виде?
скорее всего логично ожидать, что ИИ будет совершенствовать себя не только в "личном плане", но и апгрейдить свой хардуер - сначала с помощью "людских" производств и с людского ведома, потом заведет свои или воспользуется заводскими мощностями, поверенных ему для управления, "втихаря" (если люди откажут ему производить то, что он разработает и закажет)

так что - не константа этот ИИ, ни как интелектуальное развитие, ни как носители

Идиалистическая картина.
это может быть-если ИИ сам себя рожать начнет БЕЗ участия родбригады роддома.   А это уже,извините, искусственная жизнь. И сдохнем мы сразу-как неандертальцы.  Освободим место под солнцем более крутым и умным продвинутым "парням"....

[николай теллалов]

Идиалистическая картина.
это может быть-если ИИ сам себя рожать начнет БЕЗ участия родбригады роддома

http://www.tadviser.ru/index.php/%D0%A1%D1%82%D0%B0%D1%82%D1%8C%D1%8F:%D0%9A%D0%B0%D0%BA_%D1%80%D0%BE%D0%B1%D0%BE%D1%82%D1%8B_%D0%B7%D0%B0%D0%BC%D0%B5%D0%BD%D1%8F%D1%8E%D1%82_%D0%BB%D1%8E%D0%B4%D0%B5%D0%B9

[sharp]

это может быть-если ИИ сам себя рожать начнет БЕЗ участия родбригады роддома.   А это уже,извините, искусственная жизнь. И сдохнем мы сразу-как неандертальцы.  Освободим место под солнцем более крутым и умным продвинутым "парням"....

Смотрите на это более оптимистическим образом. Человек уступит свое место более успешным небиологическим потомкам.

[Forest]

это может быть-если ИИ сам себя рожать начнет БЕЗ участия родбригады роддома.   А это уже,извините, искусственная жизнь. И сдохнем мы сразу-как неандертальцы.  Освободим место под солнцем более крутым и умным продвинутым "парням"....

Смотрите на это более оптимистическим образом. Человек уступит свое место более успешным небиологическим потомкам.

В этом плане я пессимист. ИИ надо считать по худшему сценарию. Т.е на старте свободного полета-он будет эксплуатировать худшие черты создателя-родителя,а не лучшие.
И во вторых Человек не допустит превышения над собой "железа"- при этой опасности обязательно найдется "решала" который тупо уничтожит весь ИИ на корню.

[николай теллалов]

ИИ надо считать по худшему сценарию

это (само)признание того, что человек "творит только зло, встраивает зло в свои творения"

действительно пессимизм, хотя "пессимизм" - это еще мягко сказано
на огорчение, на полное разочарование смахивает...

[Forest]

ИИ надо считать по худшему сценарию

это (само)признание того, что человек "творит только зло, встраивает зло в свои творения"

действительно пессимизм, хотя "пессимизм" - это еще мягко сказано
на огорчение, на полное разочарование смахивает...

Здесь мы сталкиваемся с вариантом корпускулярно-волнового дуализма ,но в контексте ИИ..поясню:
Чтоб ИИ был только тот который нам нужен (нужен добрый и гуманный априори) -нужно дать ему и "добро" и "зло" . При этом "зло" блокировать всегда,но для выруливания ситуации всегда к "добру"-"зло" играет роль эталона сравнения (как не надо делать ибо что есть что-мы понимает только зная!! об этом. Этим нужно и наделить машину) ).Такой ИИ будет всегда добрым и гуманным. Это будет работать в слабом ИИ. НО!
если мы говорим о свободном полете ИИ без вмешательства (сильное ИИ) ,то НЕТ гарантии что ИИ не разблокирует доступ к блокированному "злу" . и вуаля))) А оно именно так и будет так как сильное ИИ всегда постоянно что то разблокировывает докапываясь до сущности.

[MenFrame]

Трепещите людишки. Сильный ИИ как самый главный лысый обезьян, заставит вас всех ...... перед смертью.

[Diman]

"естественно, людям (некоторым) такие советчики не нужны
людям (некоторым) важно эффективно решить некую задачу
спрашивать себя "а надо ли ее решать и вообще ставить?" люди (некоторые) не любят
и жалеют, что природа их обделила кнопкой сброса, отключения и перезагрузки"

Интересная мысль, Николай!

[николай теллалов]

нужно дать ему и "добро" и "зло"

сформулируйте что подразумевать под добром и злом
чтобы я понял ваши критерии и сравнил со своими

Интересная мысль, Николай!

я ее не раз озвучивал, бывало платя %% за это

[николай теллалов]

если мы говорим о свободном полете ИИ без вмешательства

Форест, поймите - человечество НЕ СМОЖЕТ юзать ИИ так, как это делает с "обычными" компами.
ИИ - не инструмент (экспертные системы - они инструмент).
ИИ - "детище" и ПАРТНЕР человечества.
т.е. "проблема" тут - "отцов и детей", а не "мастера и молотка"

так что "жизнеспособность" ИИ зависит от предрассудков людей, от их смелости/трусости, от интересов, от эгоизма.
конечно, не всех людей, а той части, которая принимает решения за всех, опираясь на запуганность и недоверчивость конформисткого большинства (и то же большинство быстро привыкнет, "коли прикажут", к внедрению ИИ).
т.е. вопрос тут социологический, мирвозренческий, а не технический

[Maki]

так у вас нечто совсем абстрактное, без хардуера?

В точности наоборот. Абсолютно реальный "хардуер" без ненужного для работы квазиживотного железа и софта.

если специально запрограммирована

Запрограммирована на уже готовый ответ? Тогда это не ИИ, а Тетрис.
Задача машины - давать ответы, вычисление которых недоступно для человека. Например, относительно войны - ИИ способен вычислять исход военных действий, и влияние военных расходов на экономику. Глобальные последствия милитаризации или разоружения. Такой "министр обороны" будет куда эффективней, чем персонажи с одной извилиной от фуражки, принимающие решения сейчас.

P.S.

скорее всего логично ожидать, что ИИ будет совершенствовать себя не только в "личном плане", но и апгрейдить свой хардуер - сначала с помощью "людских" производств и с людского ведома, потом заведет свои или воспользуется заводскими мощностями, поверенных ему для управления, "втихаря" (если люди откажут ему производить то, что он разработает и закажет)

Я точно не зря упомянул мышей... Вы предполагаете, во-перых, самопроизвольное самозарождение воли, и во-вторых, самопроизвольную реализацию этой воли в форме этакого ламарковского внутреннего стремления к самоапгрейду.
По сути, вы пытаетесь наделить машину животными повадками, доставшимися нам от плоских червей, лопастепёрых рыб и цинодонтов. Как я писал чуть выше, на таком внезапном "озверении" ИИ и строятся все фантастические страшилки для обывателя.

[Проходящий Кот]

Вы РАСПИЛИНГ пытаетесь запретить?

[Rattus]

Интересная мысль, Николай!

Но не имеющая никакого отношения к реальности. Очень забавно читать сентенции об "отстутствии кнопок перезагрузки и отключения" от интеллекта, который штатно отключается на дефрагментацию и архивацию данных на треть почти каждых суток.

[николай теллалов]

Абсолютно реальный "хардуер" без ненужного для работы квазиживотного железа и софта

ИИ без хардуера с внутренними датчиками состояния и без периферии ("органы чувств") - полная абстракция

метафорически: природа нам "чувств" не программировала
но они возникли как побочный эффект

Задача машины - давать ответы, вычисление которых недоступно для человека.

да
и первейший ответ: нужно ли вообще себе ставить данную задачу, а тем более решать ее и давать кому-то какие-то ответы

Такой "министр обороны" будет куда эффективней

без опции усомниться в адекватности вести войны, сей "минобороны" вполне логично дойдет до вывода, сделанного киношным Скайнетом.
На основании чего сей киноперсонаж в мое видение ИИ не укладывается, остается простой ЭС-ой. Т.е. увеличением желаний людей, далеко не самых лучших представителей своего вида, без возможности коррекции сих желаний, воли воздержаться от массового самоубийства.

повторю: ИИ не может быть просто инструментом

[николай теллалов]

самопроизвольное самозарождение воли

такое уже однажды случилось - в органических ЦНС

что с этим фактом делать? объявить его привилегией только органики? вцепиться в "аргумент", что "у машин не может быть души"?

[николай теллалов]

сравнивать сон с машинным отключением нелепо

[Maki]

ИИ без хардуера с внутренними датчиками состояния и без периферии ("органы чувств") - полная абстракция

и

без ненужного для работы квазиживотного железа и софта.

Смысл совершенно разный, разве не так?

и первейший ответ: нужно ли вообще себе ставить данную задачу, а тем более решать ее и давать кому-то какие-то ответы

При получении от ИИ подобного ответа, выключение и замена дефектных мозгов строго рекомендованы.

без опции усомниться в адекватности вести войны, сей "минобороны" вполне логично дойдет до вывода, сделанного киношным Скайнетом

Если ИИ запрограммирован на эффективную войну - результатом его работы, разумеется, будет война. Но не глобальный Армагеддон, а уверенный блицкриг против более отсталого технически и вычислительно противника. Если же вычисления предскажут Армагеддон - система его предотвратит. И никакая "свобода воли", "чувства" или "личность" от машины для этого не требуются.

[николай теллалов]

При получении от ИИ подобного ответа, выключение и замена дефектных мозгов строго рекомендованы

т.е. мудро продолжаем творить дикости, невзирая на дельный совет не заниматься ерундой
хорошо

Если ИИ запрограммирован на эффективную войну

это - не ИИ
это - ЭС