Целеполагание самостоятельного сильного искусственного интеллекта и человек

[Maki]

Ну и владельцы предприятия (склада, порта, мануфактуры и т.п.) конечно же с превеликой радостью искали их, немногочисленных, для найма и платили им большое жалованье!

А куда деваться? Образование было привилегией, как и "интеллигентные" профессии. Как и сейчас лучшие шансы на хорошее образование имеют дети богатых. А фараон и номархи вынуждены им за полученное образование платить приличное жалование.
Хотя, конечно же, образованный раб, попавший в такое состояние за долги или преступление, был ценным приобретением. Но вряд ли это явление было массовым.
И вот тут стоит вернуться к ИИ.
Способность к целеполаганию - крайне вредное качество для инструмента (по сути, раба). Особенно, занятого важными вычислениями и выбором решений в рамках поставленной цели. Это делает инструмент непредсказуемым, и, следовательно, нефункциональным. А вот на роль вредоносной программы, такой целеполагающий вирус подходит очень хорошо. Подчиняя вычислительные мощности, например, крупной корпорации своим целям, он с одной стороны нанесёт ей вред, но при этом никак не укажет на своего создателя. Такие атаки, как уже говорилось, масштабами "серверной стойки" могут не ограничиваться. А если "умный бот" ещё и в экономической жизни умеет участвовать (занимается рекламой, продвигает сайты, шпионит, собирает статистику и т.п.) и приобретает независимость - то с такой тварью бороться будет очень сложно.
Главное тут - что возникнет этот "сильный ИИ" не каким-то спонтанным образом, а как продукт творчества злонамеренных человеческих личностей.

[Rattus]

А куда деваться?

Сделать из АМ СУБД на мегабайты, добавив ещё немножко бронзовых шестерёнок - если "нет принципиальной разницы".

[Maki]

Сделать из АМ СУБД на мегабайты, добавив ещё немножко бронзовых шестерёнок - если "нет принципиальной разницы". 

Но зачем такие заморочки, если все задачи античной (да и средневековой) торговли решались при помощи счётов? 
И даже когда Леонардо действительно "добавил шестерёнок" - его арифмометр оказался просто никому не нужен.
Уровень развития экономики, науки, техники и вычислительных машин чётко коррелирует. И пока счёты или IBM PC используются как вычислительные костыли - они костылями и остаются. Независимо от их сложности.
И только когда в вашем смартфоне появится простенькое приложение, выбирающее цели для себя или для вас по своему собственному алгоритму - это будет уже не костыль, а нечто большее.

[Rattus]

И только когда в вашем смартфоне появится простенькое приложение, выбирающее цели для себя или для вас по своему собственному алгоритму - это будет уже не костыль, а нечто большее.

Это?

[Maki]

Это?

Это не совсем то.
Все эти "думающие" фитнес-трекеры и планировщики давно известны, и просто реализуют заданный извне алгоритм. А не собственный. И тут идёт конкуренция между разработчиками. И это ещё нельзя считать эволюцией самих программ.
Но что если вместо тупого ассистирования, программа будет регулярно пытаться манипулировать человеком, случайным образом выбирая альтернативные варианты его активности, и убеждая что надраться в баре или пойти на стриптиз - это лучше пропущенного фитнеса? Будет такое востребовано на рынке?
А ведь это уже можно трактовать как намёк на целеполагание. И тут из программы-раба получается программа-компаньон. И такой программе можно уже задавать изменчивость, индивидуальность. И при отбраковке неудачных манипуляторов, и распространении удачных, может получиться, в общем то, эволюция...

[Rattus]

Это не совсем то.

и просто реализуют заданный извне алгоритм. А не собственный.

Ваш геном в зиготе самозародился? Знания языка и культур - тоже врождённые?

И тут идёт конкуренция между разработчиками. И это ещё нельзя считать эволюцией самих программ.

Ведь разработка ПО - это строго выверенный процесс, в котором просто не может быть случайных ошибок, а "баги" и "отладка" - выдумки дилетантов?

Но что если вместо тупого ассистирования, программа будет регулярно пытаться манипулировать человеком, случайным образом выбирая альтернативные варианты его активности, и убеждая что надраться в баре или пойти на стриптиз - это лучше пропущенного фитнеса? Будет такое востребовано на рынке?

https://store.steampowered.com/about/
https://www.epicgames.com/store/ru/
https://ru.wargaming.net/ru

[Olweg]

Но что если вместо тупого ассистирования, программа будет регулярно пытаться манипулировать человеком, случайным образом выбирая альтернативные варианты его активности, и убеждая что надраться в баре или пойти на стриптиз - это лучше пропущенного фитнеса? Будет такое востребовано на рынке?
А ведь это уже можно трактовать как намёк на целеполагание. И тут из программы-раба получается программа-компаньон.

А почему вы считаете, что целеполагание должно быть обязательно случайным? Чтобы у ассистента была свобода воли? Но ведь и человек принимает решения, скорее всего, не случайно, а исходя из своих заложенных природой и опытом предпочтений...

[Maki]

Картинка

Так вы хотите сказать, что
Это уже занимается самостоятельным целеполаганием? Или это таки просто вычислительный костыль, помогающий юзеру разобраться в собственных планах и предпочтениях?

Ваш геном в зиготе самозародился? Знания языка и культур - тоже врождённые?

А Антикитерский Механизм, значит, возник как случайная комбинация шестерёнок, а умение вычислять движение планет приобрёл путём обучения?

Ведь разработка ПО - это строго выверенный процесс, в котором просто не может быть случайных ошибок, а "баги" и "отладка" - выдумки дилетантов?

Разработка ПО - это именно целенаправленный процесс. Но так как занимаются ею неаккуратные двуногие мартышки - неизбежны и "баги" и "отладка". И никакого шанса на машинное целеполагание в такой системе не остаётся.

steampowered.com

К моему глубокому стыду, я вообще никогда не интересовался компьютерными играми, и ничего в них не понимаю. Так что смысла вашей реплики я не уловил. 

[Maki]

А почему вы считаете, что целеполагание должно быть обязательно случайным? Чтобы у ассистента была свобода воли? Но ведь и человек принимает решения, скорее всего, не случайно, а исходя из своих заложенных природой и опытом предпочтений...

У человека, случайность присутствует уже на уровне природы. Мутации и рекомбинация каждый раз порождают уникальную личность, с элементами новизны и непредсказуемости. И опыт эта личность часто получает совершенно случайный.
Даже с учётом этого, будь человек идеальной бинарной логической машиной, его решения для внешнего наблюдателя уже непредсказуемы. А ведь наша логика, к тому же, часто работает как нечёткая, и в ней могут наличествовать совершенно случайные сбои. И в ход нашего мышления может вмешаться, например, птица, случайно пролетевшая за окном.
Так что человек - очень индивидуальная и порой непредсказуемая машина. И без длительного обучения, чётких правил и строгого контроля, она, как элемент цивилизованного общества не работает.
А если мы, такие "косячные", уже есть - зачем нам ещё обладающие собственным "эго", самостоятельно целеполагающие и вследствие этого непредсказуемые и неуправляемые роботы? 

[Olweg]

Зависит от того, что считать «случайным». Если что-то детерминированное, но принципиально не предсказуемое - то алгоритмы тоже могут быть таковыми. Если недетерминированное - то такое может случиться только из-за влияния квантовых эффектов.

В любом случае, мне всё же непонятно, почему вы увязываете целеполагание со случайностью.

[Maki]

Зависит от того, что считать «случайным». Если что-то детерминированное, но принципиально не предсказуемое - то алгоритмы тоже могут быть таковыми. Если недетерминированное - то такое может случиться только из-за влияния квантовых эффектов.

Согласен с вами.

В любом случае, мне всё же непонятно, почему вы увязываете целеполагание со случайностью.

Возможно я и не прав.
Просто для целеполагания, как мне кажется, нужны и безусловные, предустановленные мотивы, и накопленный опыт, и индивидуальный разум, способный осознавать себя в прошлом, настоящем и будущем. Вот тогда к предустановленной цели "существовать", может добавиться и выработка каких-то дополнительных, второстепенных целей, выработанных самим разумом.
Вопрос в том, способно ли самосознание существовать в детерминированном вычислителе вообще, или тут требуется как раз таки изрядная доля квантовых эффектов.
Ну и отдельный вопрос - является целеполагание процессом творческим. А творчество, КМК, как раз таки требует некоторой неопределённости и недетерминированности.
Хотя, возможно, для этих целей достаточно детерминированного генератора случайных событий.
Не знаю...

[Olweg]

Если говорить об ИИ вообще, то достаточно сложная система, даже узкоспециализированная, может в ходе работы ставить некие промежуточные цели для достижения главной, прописанной или заданной создателями. Или владельцем. Можно ли это считать целеполаганием? А почему бы и нет? Чем это хуже целеполагания самого человека? Который по большей части сам не может понять, что ему нужно. Не потому, что он свободен в своём выборе, а просто потому, что плохо разбирается в себе самом. Тут во многих случаях поможет и не самый сложный алгоритм.

[Maki]

Если говорить об ИИ вообще, то достаточно сложная система, даже узкоспециализированная, может в ходе работы ставить некие промежуточные цели для достижения главной, прописанной или заданной создателями. Или владельцем. Можно ли это считать целеполаганием? А почему бы и нет? Чем это хуже целеполагания самого человека? Который по большей части сам не может понять, что ему нужно. Не потому, что он свободен в своём выборе, а просто потому, что плохо разбирается в себе самом. Тут во многих случаях поможет и не самый сложный алгоритм.

Собственно, Rattus привёл именно такой пример. И я согласен, что такого рода псевдоцелеполагание осуществимо, забавно, и в каких-то случаях полезно, если оно остаётся на уровне прикладных гаджетов или строго контролируемых экспертных систем.
Собственно и у человека, целеполагание как правило вытекает из его врождённых качеств, усвоенных стереотипов, а нередко и под влиянием манипуляторов.
Вот почему я так уцепился за случайность.
Именно она делает наше целеполагание часто ошибочным, но свободным. Что нам так нравится в нас. И так не нравится в машинах.

[Olweg]

Ну, тогда это просто вопрос сложности. Решения достаточно сложной системы тоже будут выглядеть «случайными» - потому что никто не сможет точно разобраться в механизме принятия. Тут можно только предполагать.

[Maki]

Ну, тогда это просто вопрос сложности. Решения достаточно сложной системы тоже будут выглядеть «случайными» - потому что никто не сможет точно разобраться в механизме принятия. Тут можно только предполагать.

Согласен. Но такая машина может ставить только

некие промежуточные цели для достижения главной, прописанной или заданной создателями. Или владельцем.

Хотя, с другой стороны, истинные цели нам тоже ставит ДНК, а мы суетимся на промежуточных целях.
Впрочем, ДНК не обладает субъектностью. Так что мы можем думать, что мы сами-себе хозяева... )

[Olweg]

Хотя, с другой стороны, истинные цели нам тоже ставит ДНК, а мы суетимся на промежуточных целях.

Вот именно. Поэтому и говорю - разница не так уж существенна.

Впрочем, «надстройка» для достижения истинных целей (то есть передачи генов) оказалась у человека столь сложна, что может работать против своего заказчика, что видно на примере демографического перехода и чайлд-фри. Речь не только о мозге, но и о человеческой культуре - этакой «супернадстройке». В которой зарождаются новые коды - мемы.

ИИ в таком случае - ещё один уровень, как на персональном, так и на общественном уровне. Не зародятся ли в этой новой надстройке новые коды, цели которых будут перпендикулярны как целям генов, так и целям человеческих идей/идеологий?..

Впрочем, ДНК не обладает субъектностью. Так что мы можем думать, что мы сами-себе хозяева... )

Если не рабы генов, то рабы идей Третьего, похоже, не дано. Либо человек усмиряет свои природные хотелки ради некого общественного блага, либо наоборот, противостоит общественному давлению ради собственной свободы, т.е. ради осуществления личных желаний.

[Maki]

Если не рабы генов, то рабы идей Третьего, похоже, не дано. Либо человек усмиряет свои природные хотелки ради некого общественного блага, либо наоборот, противостоит общественному давлению ради собственной свободы, т.е. ради осуществления личных желаний.

Дано. Но результат этого "третьего" - апатия, деградация и саморазрушение. Смысл жизни придают страсти или мифы. А без них, сам по себе, человек бессмысленен.

Впрочем, «надстройка» для достижения истинных целей (то есть передачи генов) оказалась у человека столь сложна, что может работать против своего заказчика, что видно на примере демографического перехода и чайлд-фри. Речь не только о мозге, но и о человеческой культуре - этакой «супернадстройке». В которой зарождаются новые коды - мемы.

Согласен. Так что Докинзу следовало бы написать и книгу "Эгоистичный Разум". Тем более, что идею меметики (то есть Эгоистичной Культуры) он сам предложил...

ИИ в таком случае - ещё один уровень, как на персональном, так и на общественном уровне. Не зародятся ли в этой новой надстройке новые коды, цели которых будут перпендикулярны как целям генов, так и целям человеческих идей/идеологий?

Ну... Может всё-таки расширение, а не надстройка?
А зарождаться новым кодам и незачем. Их прекрасно "зародят". У меня складывается впечатление, что айтишные социопаты гадят в киберпространстве не токмо биткоина ради, но и самоутверждения для. А иногда прямо из ненависти к окружающему миру, и желания реализовать свои разрушительные наклонности.

[Вайт]

Если что-то детерминированное, но принципиально не предсказуемое - то алгоритмы тоже могут быть таковыми.

Каким образом вы построите алгоритм, если не можете предсказать следующий шаг?

Если что-то детерминированное ... Если недетерминированное ...

Противопоставление не обязательно, есть третий вариант - Глава 1.6. Свобода воли и сознание, четвёртый абзац.

[Olweg]

Ну... Может всё-таки расширение, а не надстройка?

Тут, пожалуй, целая новая экосистема вырисовывается. И быстрее всего эволюция пойдёт, боюсь, там, где и всегда - в тех областях, где противостояние идёт по максимальной ставке, то есть в случае ИИ в кибервойнах. Это гонку вооружений контролировать будет не в пример сложнее ядерной.

А зарождаться новым кодам и незачем. Их прекрасно "зародят". У меня складывается впечатление, что айтишные социопаты гадят в киберпространстве не токмо биткоина ради, но и самоутверждения для. А иногда прямо из ненависти к окружающему миру, и желания реализовать свои разрушительные наклонности.

Вдохнут дух в это всё, конечно, человеки. Не так уж важно, кто именно. Хотя опаснее тут всё-таки представляется государственное противостояние - у психопатов-любителей просто ресурсов меньше.

Каким образом вы построите алгоритм, если не можете предсказать следующий шаг?

Разработчики нейросетей как-то справляются

[Вайт]

Разработчики нейросетей как-то справляются

У вас речь идёт о "принципиальной непредсказуемости". В искусственный нейронных сетях "все ходы записаны" и при желании все её вычисления можно проверить.