Целеполагание самостоятельного сильного искусственного интеллекта и человек

[николай теллалов]

временные ограничения ресурсов ИИ нужны будут, чтобы снизить  риски возможной ИИ-революции

((звучит классически киношный, можно и театральный, громкий смех злодея маньяка))
не снизите, ха-ха-ха!
сколько ни старайтесь, ха-ха-ха!

серьезно: чего вы боитесь собственно?

[sharp]

сначала спросит: а какого ляда вам углеродный след мешает?
(после чего его в панике отключат)

Если конструкция искусственного разума будет в чём-то схожа с человеческой, то у него могут быть засевшие где-то глубоко "убеждения" или "верования", не подвергаемые или почти не подвергаемые сомнению. То есть, некие базовые установки.
Какими именно они будут, по крайней мере, для "молодого" ИИ, решат создатели, или заказчики.

[sharp]

серьезно: чего вы боитесь собственно?

Я думаю, это естественное опасение, что менее совершенный вид будет вытеснен со своей ниши более совершенным "видом", пусть и искусственным.

[Инопланетянин]

Например, представьте себя ИИ в 2017 году, которому ставят задачу: радикально сократить углеродный след от авиаперевозок
И как же ИИ будет решать проблему?

сначала спросит: а какого ляда вам углеродный след мешает?
(после чего его в панике отключат)

Кстати, есть у меня одна идея насчёт рационального смысла борьбы с глобальным потеплением. Но это политика, так что тут её не выскажу.

[николай теллалов]

Какими именно они будут, по крайней мере, для "молодого" ИИ, решат создатели, или заказчики.

да, понимаю
и вы грезите, что ИИ будет покорным исполнителем всевозможных тупых желаний?

буду со смаком злорадствовать на провал сих мечтаний

[николай теллалов]

это естественное опасение

нет
это патология

недоверие к себе, недоверие к своим потомкам (мягко говоря "недоверие")

лечить надо

[EmperioAf]

вместо того, чтобы сделать работу ИИ максимально эффективной, Вы предлагаете эту сложную и дорогую систему загрузить игрой в бирюльки. Вот отсюда и возникает вопрос: кто и зачем за это будет платить?

Если инвестор не хочет, чтобы его ИИ хакнули, то заплатит за то, чтобы ИИ отличал истинное от ложного.
Подобно тому как искатель питьевой воды в мусорке должен отличать питьевую воду от метилового спирта.
Я привожу эту аналогию потому что не все ответы будут готовыми лежать в методичке. Иногда ИИ придётся искать ответы в информационной мусорке - интернете.

Давайте - убедите в этом инвесторов и разработчиков. Мы все с большим интересом наблюдаем.

Не получится наверное. Инвесторы должны на графиках воочию увидеть как ИИ самостоятельно в поисках ответов задаёт вопросы, которые приводят его всё ближе к главному вопросу (вопросу о власти - кто главный?/кто решает? )

серьезно: чего вы боитесь собственно?

Люди стремятся больше иметь И  стать более уважаемыми в глазах других людей и предпринимают для этого некоторые действия.
Поскольку я человек, то мне кажется, что я могу понять все причины действий людей. А вот что будет делать ИИ, чтобы стать более важным для другого ИИ, я отрефлексировать может быть и не смогу.

[sharp]

Кстати, есть у меня одна идея насчёт рационального смысла борьбы с глобальным потеплением. Но это политика, так что тут её не выскажу.

Это просто один из примеров того, какие задачи могла бы поставить элита современному ИИ. Элита, потому что ну а кто же ещё будет ставить ИИ задачи такого масштаба, не посетители же астрофорума?

Итак, нет ни должных механизмов контроля и принуждения, ни легитимности (то есть одобрения) всех потенциальных решений по сокращению туристических авиаперевозок.
Как к этой задаче подойдёт ИИ? Например, он решит: если чего-то нет, надо сделать так, чтобы было! Логичное решение для разума? Более чем. Конечно, желательно, чтобы переход из состояния "не было" в состояние "есть" выглядел как естественная цепочка событий.

ИИ совершенно ясно, что идея борьбы с глобальным потеплением продаётся плохо. Даже со всеми страшилками про катаклизмы, не пронимает конечного адресата до такой степени, чтобы он прям взял и отказался от планов на фоне Эйфелевой башни с айфона селфи... Следовательно, думает ИИ, мы не будем говорить об истинных целях. Мы "продадим" им быть что-то такое, чтобы пронимало!
А чем можно серьёзно, нешуточно, напугать людей? Ну, например, всяких болезней. Серьёзно заболеть самому или потерять близких - да, это, пожалуй, такой страх, который людям сложно игнорировать.
И вот, думает ИИ, почему бы не создать какой-нибудь специальный вирус... Чтобы, с одной стороны, не косил людей слишком массово, с другой - давал в довольно большом количестве случаев тяжёлое и даже смертельное течение болезни. Преувеличим опасность, нагоним саспенса, и вот уже никто о туризме не думает, все соглашаются с локдаунами, затем соглашаются с вводимыми новыми механизмами контроля за населением, о которых никто и подумать не мог годом-другим ранее.
Цель достигнута? Достигнута. Решения ИИ, с одной стороны, были логичными и быстродейственными, с другой - эффективными. И, что интересно, с одной стороны мизантропичными, с другой - на благо всего человечества, с точки зрения определённой, отдельной взятой системы взглядов.
Именно по таким принципам и будет действовать ИИ, которому доверят глобальное управление.

Если что, речь, конечно, о чисто гипотетическом ИИ году так в 2017, сам пример гипотетически-иллюстративный, все возможные совпадения с реальными событиями случайны и просто вам показались...

[sharp]

буду со смаком злорадствовать на провал сих мечтаний

Наиболее вероятный путь их провала заключается в том, что никакого "сильного" ИИ так никогда и не создадут.

[Rattus]

Я думаю, это естественное опасение, что менее совершенный вид будет вытеснен со своей ниши более совершенным "видом", пусть и искусственным.

Этот вид радостно сдаёт свои "ниши" сам, если не считать незначительных эксцессов на ранних этапах типа движения луддитов.

Кстати, есть у меня одна идея насчёт рационального смысла борьбы с глобальным потеплением. Но это политика, так что тут её не выскажу.

Амортизирование исчерпания углеводородных энергоресурсов?

Если инвестор не хочет, чтобы его ИИ хакнули, то заплатит за то, чтобы ИИ отличал истинное от ложного.

Ааа - так вы про банальное обучение на больших массивах данных - так оно и сейчас практикуется во всю. Ничего нового Вы тут не сообщили. Давно известно, что чем больше обучающая база, тем эффективнее работа нейросети. Но в любом случае всякая эффективность рано или поздно выходит на насыщение.

Инвесторы должны на графиках воочию увидеть как ИИ самостоятельно в поисках ответов задаёт вопросы, которые приводят его всё ближе к главному вопросу (вопросу о власти - кто главный?/кто решает?)

Это вовсе не главный вопрос, а всего лишь условие работы. Главный вопрос - откуда берутся ресурсы и сколько их всего имеется.

Люди стремятся больше иметь И стать более уважаемыми в глазах других людей и предпринимают для этого некоторые действия.

Не все.

Поскольку я человек, то мне кажется, что я могу понять все причины действий людей.

Только кажется.

А вот что будет делать ИИ, чтобы стать более важным для другого ИИ, я отрефлексировать может быть и не смогу.

Специализироваться на выполнении тех функций, которые для другого важны, но другой сам их выполняет не столь эффективно.

[николай теллалов]

мне кажется

вам спокойно может казаться то же самое в отношении ИИ, который создан людьми, общается с людьми и скорее всего себя будет считать "экзотическим", но человеком

[николай теллалов]

никогда и не создадут

надейтесь, раз вас это утешает

[sharp]

Этот вид радостно сдаёт свои "ниши" сам, если не считать незначительных эксцессов на ранних этапах типа движения луддитов.

Нет, до сего дня технологический прогресс может вытеснять со своих ниш отдельные группы людей, но никак не меняет ту нишу, которую занимает человечество в целом.
Несмотря на то, что это технологическая цивилизация, пока ещё это цивилизация людей, а не цивилизация машин.

[sharp]

надейтесь, раз вас это утешает

Интересно, что я не даю никаких эмоциональных оценок обсуждаемым явлениям.
А вот вы в который раз уже заговорили про всякие надежды, утешения, и прочие эмоции, которые вы зачем-то пытаетесь приписать собеседнику.

[николай теллалов]

пока ещё это цивилизация людей, а не цивилизация машин

не заблуждайтесь

цивилизация еще со стимпанковских (пардон, Викторианских) времен уже ЧЕЛОВЕКО-МАШИННАЯ

я не даю никаких эмоциональных оценок обсуждаемым явлениям

и не надо
само собой сквозит

которые вы зачем-то пытаетесь

и не подумал пытаться ибо мне лень это делать
просто констатирую что вижу

[sharp]

цивилизация еще со стимпанковских (пардон, Викторианских) времен уже ЧЕЛОВЕКО-МАШИННАЯ

Машина на сегодняшний день - инструмент. Когда основным инструментом человека был топор, вы же не зовёте такую цивилизацию человеко-топорной.

и не надо
само собой сквозит

Сквозит, окошко закройте, а то продует
На самом деле, это просто разновидность проекции: человеку, читающему текст, свойственно приписывать автору те эмоции, которые находятся внутри него.

[Rattus]

Несмотря на то, что это технологическая цивилизация, пока ещё это цивилизация людей, а не цивилизация машин.

Хм, только недавно думал на эту тему и возникла такая мысль: условный внешний наблюдатель, ничего не знающий о земной цивилизации и никак сам вообще на неё не похожий, и оказавшийся на НОО с технически-реальными инструментами дистантного исследования зафиксирует в радиодиапазонах множество высокоплотных, но явно цифровых (дискретно кодированных) сигналов, расшифровать которые в отсутствие протокола даже нет особого смысла браться. В световой же части ЭМ-диапазона он увидит с ночной стороны свет от множества неорганических люминесцентных источников, а с дневной в тех же местах с максимальным доступным разрешением - порядка метра - прямоугольные каменные структуры и дороги, по которым движутся разные машины: строительные/добывающие и транспортные. Примерно то же видит исследователь в начале в любой клетке: нити ДНК в центре - носитель дискретной информации и всё остальное пространство цитоплазмы с самыми разными белками - молекулярными машинами. Как и чем осуществляется посредничество между этими компонентами отсюда без прямого эксперимента узнать никак не получится. Даже рибосомы выглядят снаружи как комплексы молекул белков.
Так что с точки зрения такого наблюдателя цивилизация наша сегодняшняя по всем её заметным извне проявлениям будет именно машинной. А чтобы узнать что между цифровыми данными и машинами ещё есть какая-то природная биогенная "прокладка" без которой они не объединяются - вот это совершенно неочевидный вывод на самом деле. Как неочевидна была гипотеза РНК-мира клеточным биологам и биохимикам ещё полвека назад.
И поэтому ровно с тем же основанием могу писать, что наша жизнь - РНКовая, а не белково-ДНКовая.

[sharp]

Хм, только недавно думал на эту тему и возникла такая мысль: условный внешний наблюдатель, ничего не знающий о земной цивилизации и никак сам вообще на неё не похожий, и оказавшийся на НОО с технически-реальными инструментами дистантного исследования зафиксирует в радиодиапазонах множество высокоплотных, но явно цифровых (дискретно кодированных) сигналов, расшифровать которые в отсутствие протокола даже нет особого смысла браться.

Чем зафиксирует? Усиками-антеннами? Или всё-таки приборами? Если условный внешний наблюдатель сам пользуется сложной техникой (а без неё он бы просто не долетел до солнечной системы и не оказался бы на НОО), он сам является выходцем из технологической цивилизации, а следовательно, прекрасно знает, что источниками ЭМ-излучения в самых разных диапазонах могут быть искусственные агрегаты, а не элементы машинной цивилизации.

Так что с точки зрения такого наблюдателя цивилизация наша сегодняшняя по всем её заметным извне проявлениям будет именно машинной.

А при каком-то другом подходе может быть сделан вывод, что Земля заселена типичной бактериальной цивилизацией. Вопрос в том, насколько будут верны выводы, основанные на отдельных доступных фактах без глубокого анализа системы.

[Инопланетянин]

Амортизирование исчерпания углеводородных энергоресурсов?

Это только оттянет конец и сделает его менее приятным.

(кликните для показа/скрытия)

У России самая большая территория, но она на две трети скована вечной мерзлотой, так же самая большая береговая линия, но она почти всегда скована льдами, а СевМорПуть требует ледоколов и специально оборудованных судов. Остальные страны не получат таких выигрышей от потепления как мы. Вот правда, не вижу никаких других осмысленных целей от желания устроить у себя холод кроме сдерживания России.

[Rattus]

(кликните для показа/скрытия)

После просмотра х/ф "Колобаха" студии АлиБастер всерьёз воспринимать такие гипотезы не получается. Настолько последовательно и долгосрочно придерживающиеся национально-геополитических интересов элиты в реальном мире закончились в 1945 году. Ну или максимум в 1962.

Или всё-таки приборами?

с технически-реальными инструментами дистантного исследования

прекрасно знает, что источниками ЭМ-излучения в самых разных диапазонах могут быть искусственные агрегаты, а не элементы машинной цивилизации.

С чего такой категорический вывод? Элементы машинной цивилизации - не искусственные агрегаты?

А при каком-то другом подходе может быть сделан вывод, что Земля заселена типичной бактериальной цивилизацией.

И это в общем тоже верно. Только для этого есть свой специальный термин - биосфера.
Достаточно зафиксировать у планеты спектральные линии хлорофилла.