Целеполагание самостоятельного сильного искусственного интеллекта и человек

[Rattus]

Просто на этой базе, возможно, приоритетными были не экономические, а астрономические астрологические вычисления.

Ага. А виноград как видим был зелен.

База, как мы видим, имелась. Главное, что антикитерский механизм, таблицы Брадиса, или Шиндоуз - явления одного порядка.

Ага - а крокодил - тоже птица. Ну давайте - расскажите нам, как от антикитерской логарифмической линейки всего пара колёсиков до разностной машины Бэббиджа.

[Maki]

Не в более меньшей, чем упавшая на голову тонна кирпичей менее летальна, чем сто тонн.

А теперь сравните летальность килограмма кирпичей и килограмма аэросила. Вот это будет корректно.

И этот шаг преодолевать оный компьютер очень вероятно будет не одну сотню лет, а в итоге так и не преодолеет.

Ему помогут.

Разумеется это так. Хотя, может быть вы хотите более явные манипуляции поведением человеков? Их есть у нас - Canis lupus familiaris.

Расскажите об этом азиятам, которые этих канисов жрут, и не морщатся. Хотя, направление вы отметили верное. Паразитирование на человечьих "инстинктах" - это основная ниша для котопёсиков, минисвинок, и ИИ.

[Maki]

Ага. А виноград как видим был зелен.

Нет, разумеется. Просто астрология тогда была бесспорным приоритетом. Как и современные компьютеры применяются в основном для развлечения. Нашли античный арифмометр - а он для гороскопов... Какая ирония, однако!

Ну давайте - расскажите нам, как от антикитерской логарифмической линейки всего пара колёсиков до разностной машины Бэббиджа.

А вот этого я не утверждал. Речь только о том, что

Лысая мартышка всегда рада расширить свои мозги при помощи любых костылей.

И это, кстати, намёк на то, что и целеполагание на бытовом, как минимум, уровне будут делегировать машине. Вернее, уже почти делегируют.

[Rattus]

Просто астрология тогда была бесспорным приоритетом.

Ну у Вас, разумеется есть солидная база исторических источников, чтобы это подтвердить: что бухгалтерия не представляла никаких трудностей и что учёных рабов для того можно было приобрести пучок за пятачок в базарный день, а астрометрия для астрологии была "Ооо!".

А вот этого я не утверждал.

Это слово - чьё:

Главное, что антикитерский механизм, таблицы Брадиса, или Шиндоуз - явления одного порядка

? Значение слова "порядок" Вам знакомо? Если да - тогда милости прошу - показать как сделать арифмометр Бэббиджа всего из менее чем 225 деталей (37^1,5), а не более двух тысяч, как было исторически, и не 340 как в современной реплике карманного арифмометра Курта. Если нет - тогда какого чёрта их тут пишете??

[loky1109]

А теперь сравните летальность килограмма кирпичей и килограмма аэросила. Вот это будет корректно.

Вот нет. Наоборот.

Расскажите об этом азиятам, которые этих канисов жрут, и не морщатся.

И что? Не вижу в этом хоть малейшего опровержения моих слов.

Паразитирование на человечьих "инстинктах" - это основная ниша для котопёсиков, минисвинок, и ИИ.

У ИИ для этого немного не хватает педоморфной внешности. У него с внешностью вообще беда - её нет.

[Rattus]

Хотя, может быть вы хотите более явные манипуляции поведением человеков? Их есть у нас - Canis lupus familiaris.

Пфф! Хуже примера придумать нельзя было! Это касается только декоративных собак. С остальными у нас полный мутуализм. Уж лучше бы кошек привели, да и те мышей ловят, когда они есть...

[ivanij]

А я думаю, что нынешнее дистанционное обучение и есть самое настоящее.

Ни в коем случае Чистая импровизация, да ещё и не весьма эффективная. Кстати, сами не пробовали?
 

не какая-нибудь футуристическая блажь.

Отнюдь. Это не блажь, а суровая необходимость. Как показал последующий опыт это было попадание "в десятку".

[sharp]

Значит в правовых государствах начиная с римской республики и стран с шариатом, главным был очень простой алгоритм, именуемый системой права и законом. Безо всякого ИИ.

Это пока еще сильное преувеличение. В правовых государствах, в конечном счете, важнейшим звеном принятия решений является человек, то есть - естественный интеллект. И, как мы знаем на многих примерах (включая некоторые события, произошедшие буквально вчера), результат работы правовой системы куда больше зависит от содержимого черепных коробок ЕИ, чем от правовых норм.

А представьте себе ситуацию, в которой в кресло судьи можно будет посадить ИИ? Вот тогда можно будет, в какой-то степени, сказать, что машина начинает приобретать власть над людьми.

[sharp]

Значит командиры этих команд и есть фактический дикатор/министр. Древний принцип cui prodest никто не отменял. Если становится невыгодно - интересные вещи происходят порою достаточно внезапно. Ю.Цезарь и Павел I прочувствовали это вполне.

Вам не знакомо такое выражение как "хвост виляет собакой"? Это вполне себе возможная ситуация в будущем взаимоотношении человека и ИИ.

Представьте себе игрушечный пример. Вы играете в шахматы, и для усиления своей игры периодически консультируетесь с ИИ про следующий ход. Соперник начинает подозревать, что что-то не так, и, в свою очередь, обращается к помощи ИИ. Его игра усиливается, вам, в свою очередь, приходится обращаться к ИИ всё чаще... Что в итоге? В итоге формально, конечно, вы и ваш соперник вольны выбирать ход. Но фактически, вашими руками, два ИИ играют друг с другом
Можно ослушаться ИИ? Конечно, никто не запрещает. Но вы понимаете, что любой ход, отличный от совета ИИ, будет с гораздо большей вероятностью проигрышным, чем выигрышным.

Теперь от игр перейдем к жизни. Две конкурирующие фирмы внедрили ИИ в качестве консультанта для принятия бизнес-решений. Основное целеполагание будет предельно "простым" - максимизация прибыли в рамках действующего законодательства. Что произойдет? Довольно быстро топ-менеджеры обеих контор обнаружат себя в положении шахматистов из предыдущего примера Формально они, конечно, вольны выкинуть советы ИИ на помойку и принять решение сами. Но фактически, любое пренебрежение советами ИИ ведет к снижению показателей компании. И постепенно, помаленьку, менеджеры превратятся в обезьянок, тупо подмахивающих все проекты приказов, которые распечатал им ИИ.
Ну а затем многих менеджеров просто уволят - зачем держать штат дорогостоящих аналитиков, если ИИ всё делает за них? Причём, не исключено, что именно ИИ посоветует собственникам принять такое решение
В конторе, таким образом, не остается никого, кто управляет глобальной картиной. Мелкие работники исполняют приказы, собственники гребут прибыль и радуются, а управление и курс развития - в руках ИИ.

Что может произойти дальше, можно только фантазировать. Например, в рамках задачи "максимизация прибыли в рамках действующего законодательства", может быть рассмотрена возможность поменять действующее законодательство

[Rattus]

На уровне анализа данных и управления - безусловно всё это вполне реально. Но речь о том, кто будет выгодополучателем в случае ограниченных ресурсов, как и бывает почти всегда в реальной экономике.

собственники гребут прибыль и радуются

Если собственники - человеки - это не отличается по сути от существующего строя.

А представьте себе ситуацию, в которой в кресло судьи можно будет посадить ИИ? Вот тогда можно будет, в какой-то степени, сказать, что машина начинает приобретать власть над людьми.

Скорее правильнее будет сказать, что государственная система становится адаптивной - перестаёт быть просто тупым набором жёстких алгоритмов, а наконец обретает свой интеллект.

[loky1109]

Пфф! Хуже примера придумать нельзя было! Это касается только декоративных собак. С остальными у нас полный мутуализм.

Как мутализм мешает им нами манипулировать?
Но это я конечно не сам придумал, это я у Затевахина услышал.

[comp]

Если собственники - человеки - это не отличается по сути от существующего строя.

А потом, в один прекрасный момент, собственники обнаружат, что у ИИ на каждого из них гигабайты компромата, и если они попытаются рыпнуться, то мигом окажутся в ночлежке или на нарах. И кто тогда будет главным?
Роль говорящей головы при сером кардинале может и хлебная, но реальной власти особо не даёт.

[PathFinder]

Вам не знакомо такое выражение как "хвост виляет собакой"? Это вполне себе возможная ситуация в будущем взаимоотношении человека и ИИ.

Представьте себе игрушечный пример. Вы играете в шахматы, и для усиления своей игры периодически консультируетесь с ИИ про следующий ход. Соперник начинает подозревать, что что-то не так, и, в свою очередь, обращается к помощи ИИ. Его игра усиливается, вам, в свою очередь, приходится обращаться к ИИ всё чаще... Что в итоге? В итоге формально, конечно, вы и ваш соперник вольны выбирать ход. Но фактически, вашими руками, два ИИ играют друг с другом
Можно ослушаться ИИ? Конечно, никто не запрещает. Но вы понимаете, что любой ход, отличный от совета ИИ, будет с гораздо большей вероятностью проигрышным, чем выигрышным.

Теперь от игр перейдем к жизни. Две конкурирующие фирмы внедрили ИИ в качестве консультанта для принятия бизнес-решений. Основное целеполагание будет предельно "простым" - максимизация прибыли в рамках действующего законодательства. Что произойдет? Довольно быстро топ-менеджеры обеих контор обнаружат себя в положении шахматистов из предыдущего примера Формально они, конечно, вольны выкинуть советы ИИ на помойку и принять решение сами. Но фактически, любое пренебрежение советами ИИ ведет к снижению показателей компании. И постепенно, помаленьку, менеджеры превратятся в обезьянок, тупо подмахивающих все проекты приказов, которые распечатал им ИИ.
Ну а затем многих менеджеров просто уволят - зачем держать штат дорогостоящих аналитиков, если ИИ всё делает за них? Причём, не исключено, что именно ИИ посоветует собственникам принять такое решение
В конторе, таким образом, не остается никого, кто управляет глобальной картиной. Мелкие работники исполняют приказы, собственники гребут прибыль и радуются, а управление и курс развития - в руках ИИ.

Что может произойти дальше, можно только фантазировать. Например, в рамках задачи "максимизация прибыли в рамках действующего законодательства", может быть рассмотрена возможность поменять действующее законодательство

Повторю ещё раз мысль, которую высказывал на форуме неоднократно. Слияние человека с ИИ.

Чтобы не возникало антагонизма человек/ИИ необходимо, чтобы ИИ воспринимал цели человека как свои, а человек имел возможность "видеть" текущие мысли ИИ в неком обобщённом виде с возможностью человека корректировать цели, если вдруг мысли ИИ "потекли" не туда. То есть должно быть слияние человека и ИИ. Причём не обязательно через нейроинтерфейс. Воспринимать некий обобщённый вид мыслей ИИ можно даже и через традиционные средства визуализации.

Более того, в человеческом мозгу, насколько я понимаю, именно так и происходит. Более древние отделы мозга дают цели и задачи более "молодым" отделам с возможностью остановки или отмены если что-то пошло не так. И для этого древним отделам мозга вовсе не обязательно полностью "понимать" что там делается в "молодых" отделах.
И древние отделы мозга как-то не исчезли в ходе эволюции. Неокортекс не уничтожил лимбическую систему.
Вот и с ИИ нужно провернуть нечто подобное.

[sharp]

Если собственники - человеки - это не отличается по сути от существующего строя.

Разница большая: в пределе вместо цивилизации человеков будет цивилизация машин. Хотя это и не означает, что человек исчезнет как биологический вид.

[Инопланетянин]

Ни в коем случае Чистая импровизация, да ещё и не весьма эффективная.

Уж какая есть. Главное, в ней действительно есть нужда.
Кстати, зачем вы так обрезали мою цитату? Уберите всё после точки или цитируйте полностью.

Кстати, сами не пробовали?

Сам не пробовал, но наблюдал родственников. Основная проблема, как мне показалось, неграмотность пользователей. Нет, в инете сидеть да проги скачивать все научились, но как только что-нибудь нестандартное вроде безусловной необходимости организовать массовые видеоконференции так сразу все чайники чайниками. Других проблем не заметил.

Отнюдь. Это не блажь, а суровая необходимость. Как показал последующий опыт это было попадание "в десятку".

А я разве спорю? Обучение в условиях карантина и есть эта суровая необходимость. Другой, однако же не вижу.

[sharp]

Чтобы не возникало антагонизма человек/ИИ необходимо, чтобы ИИ воспринимал цели человека как свои, а человек имел возможность "видеть" текущие мысли ИИ в неком обобщённом виде с возможностью человека корректировать цели, если вдруг мысли ИИ "потекли" не туда.

Так просто некому будет адекватно оценить, туда оно движется, или не туда. Даже в этой теме не смогли прийти к согласию по такому простому вопросу, как "что есть благо для человечества"
И по другим, более частным вопросам, будет сколько людей, столько и мнений. А где между людьми согласия нет, там порешает машинка.

Поэтому просто расслабьтесь и получайте удовольствие. Замена цивилизации хомосапов цивилизацией машин - это естественное и закономерное следствие прогресса.
Альтернатива этому только одна - регресс и новое средневековье.

[PathFinder]

Так просто некому будет адекватно оценить, туда оно движется, или не туда. Даже в этой теме не смогли прийти к согласию по такому простому вопросу, как "что есть благо для человечества"
И по другим, более частным вопросам, будет сколько людей, столько и мнений. А где между людьми согласия нет, там порешает машинка.

Я пока что говорил не про всё человечество, а про одного индивида со своим индивидуальным ИИ и благом для себя самого. И далеко не факт, что этот индивид во всех случаях не сможет оценить в правильном ли русле текут мысли его ИИ, скорее наоборот. Ну а про "всё человечество" и про построение социума из индивидов оснащённых ИИ нужно говорить позже и отдельно.

[Вайт]

Замена цивилизации хомосапов цивилизацией машин - это естественное и закономерное следствие прогресса.

Это сказочное следствие, а не естественное.

[Olweg]

Это пока еще сильное преувеличение. В правовых государствах, в конечном счете, важнейшим звеном принятия решений является человек, то есть - естественный интеллект. И, как мы знаем на многих примерах (включая некоторые события, произошедшие буквально вчера), результат работы правовой системы куда больше зависит от содержимого черепных коробок ЕИ, чем от правовых норм.

Это и надо исправлять. Закон должен быть превыше всего. Однако, если общественный консенсус посчитает, что закон устарел, должны быть механизмы его замены.

А представьте себе ситуацию, в которой в кресло судьи можно будет посадить ИИ? Вот тогда можно будет, в какой-то степени, сказать, что машина начинает приобретать власть над людьми.

Да, в ситуации, когда работает «телефонное право» - безусловно. Но не в идеальной ситуации, которую я обрисовал выше.

[Olweg]

Что может произойти дальше, можно только фантазировать. Например, в рамках задачи "максимизация прибыли в рамках действующего законодательства", может быть рассмотрена возможность поменять действующее законодательство

Всё верно. Причём это будет касаться не только бизнеса (или, например, гонки вооружений). В бытовой сфере человек тоже всё больше будет полагаться на решения своих голосовых помощников, личных ассистентов, ангелов-хранителей, или как бы они ни назывались в будущем.