Проблема мотивации самостоятельного сильного искусственного интеллекта

[николай теллалов]

Уменьшение функциональности системы почти всегда следует из уменьшения сложности системы

необязательно

например гаечные ключи закаляли после отливки по специальной дополнительной процедуре; в начале 1980ых один инженер додумался изменить форму матрицы, так чтобы обеспечить такой режим охлаждения отливки, при котором необходимость в дополнительной закалке отпадает. Сложность системы (производства) упала, но функциональность осталась на прежнем уровне - предприятие выпускает ключи, но уже имея одним цехом меньше
(помню как тут во всех газетах трубили об этой рационализации, фотки инженера печатали... а потом все умолкло. Так случилось, что чувака я встретил в клубе фантастов - уже в начале 2000ых. И он сказал, что его рационализацию ТАК И НЕ ВВЕЛИ, а патент продали... в Швецию, втихаря. Что может служить примером уменьшения функциональности - при заводе есть НИИ-звено (на самом деле оно было к Академии наук и обслуживало множество заводов), оно выдает некие идеи, но система завод-НИИ идеями не воспользовалось)

[Forest]

Деградация системы - это уменьшение сложности системы

неполное определение

недостает уменьшения функциональности

ИИ ставите выше создателя-программиста?

[николай теллалов]

ИИ ставите выше создателя-программиста?

если детище не превосходит родителя - это провал
(подумал Штирлиц)

[нестеров николай]

Однако читая весь интернет ( политику, про кошечек и собачек) постепенно он станет деградировать

Этот тезис стоит доказать или хотя бы обосновать.

Вы ИИ?

[Forest]

ИИ ставите выше создателя-программиста?

если детище не превосходит родителя - это провал
(подумал Штирлиц)

На какую величину,сможете сказать?) Может на 16 попугаев?

[николай теллалов]

На какую величину,сможете сказать?

не могу

[BlackMokona]

Проблема в том, что обучить ИИ выполнять большое количество разнообразных работ за короткое время невозможно

Так его каждый раз обучать не нужно, можно иметь копию обученого ИИ

Я в качестве элитного ИИ рассматриваю  ИИ, который выполняет значительную (или даже бОльшую)  часть всех работ на Земле.

Просто множество ИИ на разных уровнях , чётко разгроночить зоны и полномочия и пусть с людьми общаются только специальные ИИ.

[EmperioAf]

Так его каждый раз обучать не нужно, можно иметь копию обученого ИИ
Цитата: EmperioAf от Вчера в 19:55:

Внешний мир непрерывно меняется и регулярно нужно будет дообучать. 
Единственно неизменное, что мы знаем - это законы физики. Для управления этого недостаточно судя по тому, кто состоит в правящих элитах

[BlackMokona]

Так его каждый раз обучать не нужно, можно иметь копию обученого ИИ
Цитата: EmperioAf от Вчера в 19:55:

Внешний мир непрерывно меняется и регулярно нужно будет дообучать. 
Единственно неизменное, что мы знаем - это законы физики. Для управления этого недостаточно судя по тому, кто состоит в правящих элитах

Вы не путайте скиллы захвата и удержания власти и скилл управления.

[николай теллалов]

не путайте скиллы захвата и удержания власти и скилл управления

одна и таже технология это
разные этапы просто

[BlackMokona]

не путайте скиллы захвата и удержания власти и скилл управления

одна и таже технология это
разные этапы просто

Нет это абсолютно разные скиллы. И нередко можно увидеть как пришёл правитель к власти и тут же его сместили. Скилл захвата был, а удержания не был.
Правитель прочно сидит в стране, только вот страна в полном упадке. Скилл удержания есть, а вот управление нет.
Ну и какой нибудь Пётр 1 ,все три скилла в полном порядке. Власть у Софии захватил, власть несмотря на все потуги стрельцов, церкви и прочих железной рукой удержал. Да ещё и страну модернизировал неплохо

[николай теллалов]

это абсолютно разные скиллы

раз так уютно думать - пожайлуста
но технология одна
то, что кто-то неспособен ее полностью усвоить, да еще и применить (ибо обстоятельства), картины не меняет

[BlackMokona]

это абсолютно разные скиллы

раз так уютно думать - пожайлуста
но технология одна
то, что кто-то неспособен ее полностью усвоить, да еще и применить (ибо обстоятельства), картины не меняет

Устроение гос.переворота и управление государством это совершенно разные вещи.

[николай теллалов]

я же сказал - считайте как вам угодно

[Rattus]

Ну что-ж - полагаю пора таки немного снова вернуться к прерванному спору и ответить на неотвеченное @Maki:

Даже с тупым пентиумом так не прокатывает. Программы для него пишут сторонние товарищи, а обслуживают его или пользователи, или специально обученные люди.

А кто Вам обещал, что сильный ИИ будет доступен на уровне десктопа? Основная сейчас операционная система на серверах - Линуксы - и далеко не самые юзер-френдли дистрибутивы. Ибо пользуются ими и обслуживают не абы кто, а специалисты с квалификацией уровня примерно тех же программистов, что и писали ПО.
А кто - пользователи квантовых вычислителей? Ну вот и. Не следует искать проблему там, где её нет.

Обыватель - животинка трусливая и подозрительная. Так что малопонятный ИИ" и что-там мутящих с ним "умников" он, полагаю, склонен будет скорее демонизировать.

Да хоть десять раз - а как припечёт - первым в очереди к Сатане за эликсиром бессмертия будет стоять Папа римский.
И со времён первых государств богов и бесов назначает начальство, а особо настойчивые несогласные элементарно анафематствуются.
Обыватель практически нигде и никогда не обладает реальной субъектностью в таких вопросах. А боится - значит уважает в данном контексте.

Кибернезависимые же популяции, должна ожидать судьба тлей, не дающих сладкой пади.

Т.е. просто всех остальных свободноживущих насекомых - продолжать жить как жили.
Проблема упомянутого эволюционного тупика - это всегда по сути не более чем проблема размера биотопа для поддержания минимально необходимой численности популяции. А поскольку на планете уже имеется один цивилизант-гегемон, то его надстройки-надмозги будут ровно такой высоты, какую позволят доступные инфраструктуре ресурсы. И это может быть гораздо выше мозгов природных, но далеко не факт, что в итоге достигнут такой высоты, чтобы эффективно управлять целой планетой с одной башни, при этом видя на несколько поколений вперёд. То, что уже пять лет как случилось с "законом" Г.Мура, не очень-то много на то даёт надежд.

Но конкуренция и отбор среди "ИИ" предполагает отбраковку неэффективных и несовременных форм. Так что какой-то особо долгоживущий "ИИ" просто невозможен, и, более того, ненужен.

Только до достижения оптимума приспособленности. Когда прогрессировать далее некуда - выгоднее экономить ресурсы. Да и вечно непрерывное существование тут и не нужно особо: система такого масштаба вполне может исправно существовать тысячелетия - много поколений обслуживающих их бледнотиков. Или планово, но незаметно ресетиться для сторонних наблюдателей чуть не каждую ночь как и сами эти наблюдатели - всё это решает проблему по форме, но при этом сохраняет статус-кво по сути.

Если же вы предполагаете сценарий, при котором один "ИИ" сожрал всю киберсферу

То чтобы продолжать существовать достаточно долго, он не должен оставаться предельно высокоцентрализованным - это будет умеренно иерархическая децентрализованная сеть - как тот же Интернет, только с высокой самостоятельностью и "черноящиковостью" для обслуги.

зачем такому кадавру заботиться об энтропии в будущем, и вообще решать какие-то задачи, если взрыв Солнца всё равно неизбежен?

Потому что его полная предсказательная сила всё равно не простирается до самого этого момента. Точно по той же самой причине, что люди смотрят кино и театральные постановки на давно известные им сюжеты и решают шахматные задачи "мат в три хода". Эстетика в деталях. Если оный ИИ исходно не будет иметь вкуса к такой "эстетике", то его и не поставят на службу - также как и  режиссёрами не становятся те, кому совершенно не интересны кино или театр. Если он потеряет такой вкус уже в процессе работы - заменить порченную программу в подготовленной к тому системе никогда не было проблемой: такие компутеры без кнопки Reset или хотя бы Power не делаются. Причём технически это может быть всего лишь малая сервисная подпрограмма - подобно той, что отрубает нам сознание пока мы спим. Если всё это видно даже сейчас мне как ни разу не специалисту, то уж специалисты до этого всего додумаются ещё до того, как начнут собственно ваять Его. Ну или на первых тестовых прогонах.

[Rattus]

Комментарий модератора раздела

Тема объединена с существующей.

Деградация системы - это уменьшение сложности системы.

В процессе эволюции любых живых форм это происходит в тех или иных линиях. Причём таких линий на порядки больше чем усложняющихся. И что? Если инструмент в такой своей форме с задачей справляется (например в роли какого-нибудь CEO-подёнщика) - значит удовлетворяет создателя и вопрос исчерпан. Пользователь (т.е. тот, кто планирует получить какую-то пользу от инструмента) должен сначала определиться - что КОНКРЕТНО ему нужно от искомого инструмента: "шашечки или ехать?" - и уже из этого всецело исходить в своих запросах. Так что тут нет никакой проблемы вообще.

Т.е. если со временем вы не повторяете всё что знаете и умеете ЛИБО  не узнаёте что то новое сопоставимой сложности с тем, что знаете в среднем и не научаетесь чему то новому, то вы деградируете.

Далеко не во всём и не всегда. Разучиться говорить или ездить на велосипеде однажды научившись без серьёзного органического повреждения мозга не получится.

поскольку утрачиваются крайне неважные функции, то это незаметно пока "петух не клюнет" и  станет заметно, что нужны некоторые возможности, которые были;  но теперь их нет вследствие оптимизации.

Даже у бактерий, что находятся под довольно сильным давлением отбора на размер генома, неисползуемые гены утрачиваются и даже отключаются далеко не сразу:
https://nplus1.ru/news/2016/05/17/individobacter

Проблема в том, что обучить ИИ выполнять большое количество разнообразных работ за короткое время невозможно.

У ВАс уже есть какой-то конкретный ИИ, с чётко определёнными характеристиками типа доступной памяти и производительности?

А процессы производства, потребления идут непрерывно и требуют такого же непрерывного управления.

У АСУ ТП, работающих десятилетиями вообще безо всякого ИИ, с этим есть какие-то проблемы?

Я в качестве элитного ИИ рассматриваю  ИИ, который выполняет значительную (или даже бОльшую)  часть всех работ на Земле.

Ну вот тогда и надо обеспечить ему соответствующие вычислительные мощности и базу обучения СРАЗУ, а не страдать фигнёй типа "вот тебе 10 рублей и ни в чём себе не отказывай". Разумеется сначала должны быть созданы тестовые модели уменьшенного масштаба - но вот когда и если они будут созданы и начнут работать - тогда и будет видна их применимость к задачам того или иного уровня сложности.

Внешний мир непрерывно меняется и регулярно нужно будет дообучать.

Если "дообучать" нужно извне, а не система сама примет решение, что ей нужно чему-то дообучиться для решения задачи - то это уже не сильный (или, по вашему, "элитный") ИИ - просто по общепринятому определению этого самого И: Интеллект - это способность решать НЕстандартные задачи.
Таким образом Вы противоречите сами себе.

Единственно неизменное, что мы знаем - это законы физики. Для управления этого недостаточно судя по тому, кто состоит в правящих элитах

Прежде всего потому, что из этих же самых законов физики следует ОЧЕНЬ трудная предсказуемость сложных процессов нелинейной динамики: начиная от свёртывания молекулы белка новой последовательности и критической температуры новых сплавов-сверхпроводников и заканчивая прогнозом погоды более чем на несколько дней.
Погодите замахиваться на планетарное управление - начните с "малого", точнее давно прекрасно формализованного: займите свой мегаИИ решением прежде всего этой задачки. А уже потом рассуждайте про предсказуемость и управленческую мощь чего-либо.

[Maki]

А кто Вам обещал, что сильный ИИ будет доступен на уровне десктопа?

Воооот! Чем сложнее нейросеть - тем сложнее обеспечить её функционирование, и тем менее она становится понятна и для обывателя, и для специалиста. При наличии же самообучаемости и достижении некоторого масштаба, ИИ неизбежно превратится в "чёрный ящик", со всеми неприятными последствиями. 

И со времён первых государств богов и бесов назначает начальство, а особо настойчивые несогласные элементарно анафематствуются.
Обыватель практически нигде и никогда не обладает реальной субъектностью в таких вопросах. А боится - значит уважает в данном контексте.

Пожалуй, вы правы. Коронавирусный шитшторм убедительно показал, что конспироложеству предаётся незначительное меньшинство обывателей. А остальные послушно носят бесполезные цаки маски на улице, и бухают в "самоизоляции".

Т.е. просто всех остальных свободноживущих насекомых - продолжать жить как жили.

Совершенно верно. И, находясь в иной экологической нише, чем киберзависимые "бледнотики", они и эволюционировать будут в ином направлении. Даже если представить фантастическое богоподобное "нечто", дёргающее всю планету за ниточки - жалкие дикари с их ничтожными ресурсами вряд ли могут быть этому интересны.

Только до достижения оптимума приспособленности. Когда прогрессировать далее некуда - выгоднее экономить ресурсы.

Может быть "ИИ" всё-таки правильней рассматривать не как сферический сверхразум в вакууме, а как продукт конкуренции групп инженеров и программистов? Как только кто-то добивается полной гегемонии - развитие прекращается, наступает стагнация, кризис, катастрофа, и всё начинается по новой...

То чтобы продолжать существовать достаточно долго, он не должен оставаться предельно высокоцентрализованным - это будет умеренно иерархическая децентрализованная сеть - как тот же Интернет, только с высокой самостоятельностью и "черноящиковостью" для обслуги.

Не будет ли степень "черноящиковости" основным ограничивающим фактором?

Потому что его полная предсказательная сила всё равно не простирается до самого этого момента. Точно по той же самой причине, что люди смотрят кино и театральные постановки на давно известные им сюжеты и решают шахматные задачи "мат в три хода". Эстетика в деталях. Если оный ИИ исходно не будет иметь вкуса к такой "эстетике", то его и не поставят на службу - также как и  режиссёрами не становятся те, кому совершенно не интересны кино или театр. Если он потеряет такой вкус уже в процессе работы - заменить порченную программу в подготовленной к тому системе никогда не было проблемой: такие компутеры без кнопки Reset или хотя бы Power не делаются. Причём технически это может быть всего лишь малая сервисная подпрограмма - подобно той, что отрубает нам сознание пока мы спим. Если всё это видно даже сейчас мне как ни разу не специалисту, то уж специалисты до этого всего додумаются ещё до того, как начнут собственно ваять Его. Ну или на первых тестовых прогонах.

И вы прекрасно описали коренное противоречие между фантастичесуим компунтерным квазибожеством, которое низводит и курощает бледнотиков, и функциональным Гениальным Аутистом (С) (а точнее их множеством), которым особо одарённые бледнотики делегируют рутинные вопросы управления.
Именно наличие кнопок Reset и Power, предустановленных программ, бэкапов, и прочих предохранителей делает искусственный интеллект жизнеспособным. Что, кстати, на 100% справедливо и для бледнотиков.

[николай теллалов]

Даже если представить фантастическое богоподобное "нечто", дёргающее всю планету за ниточки - жалкие дикари с их ничтожными ресурсами вряд ли могут быть этому интересны

получается очень одинокое и грустное НЕЧТО...

Именно наличие кнопок Reset и Power, предустановленных программ, бэкапов, и прочих предохранителей делает искусственный интеллект жизнеспособным.

делает его чем угодно, но и не интеллектом
просто супер экспертная система
не личность
не разум
НЕЧТО из киноужастиков под названием "НФ" (пирожки под названием "с мясом")

[Проходящий Кот]

Кнопка RESET и Интеллект перпендикулярны друг другу.

[николай теллалов]

несовместимы