Проблема мотивации самостоятельного сильного искусственного интеллекта

[николай теллалов]

Любая "техносфера"

лаборатория, где собственно и создают то, что потом выкинут (или оно само прошмыгнет) на "дарвинов мороз"

элементы хаоса

дык элементы, а не вся среда

Муравьишки, опекающие тлей

новых пород таки не выводят

[Скеп-тик]

Дарвиновский отбор - это соревнование встроенных программ.

И как, по вашему, программы конкурируют? Воруют друг у друга байты? При этом краденый байт может вывести из строя программу-похитителя.
Нейросеть - всего лишь МОДЕЛЬ взаимодействия нейронов. Вследствие этого - огромный расход вычислительных мощностей на создание виртуальной СРЕДЫ для вычислений. И если обычная Тьюрингова машина на 2+2 потратит три -шесть шагов до получения результата, при 3 четырёхразрядных регистрах, то для нейросети для этой операции нужен суперкомпьютер, при меньшей точности вычислений

но че-то маяковские не переводятся.
Значит невалиден тут "дарвин".

Дарвин тут при том, что общество из "Маяковских/Есениных" вымрет от голода, и самоликвидация самых психически неустойчивых "бездельников" (которых в обществе 1-2%, но в социально-информационном пространстве они занимают 90%) не позволяет обществу деградировать. Но позволяет другим мигрировать в эту область.
Самые чудовищные преступления против человечности в 21-м веке творят бывшие хиппи 60-70-х прошлого века

[николай теллалов]

Нейросеть - всего лишь МОДЕЛЬ взаимодействия нейронов

кстати отсюда и скепсис, что у практически виртуальной модели возникнет "разум" - виртуальность в виртуальности.

[Maki]

И как, по вашему, программы конкурируют? Воруют друг у друга байты?

Вы не поверите! Только не "байты" - а гены. Прокариоты постоянно этим балуются.
Программам эукариот сложнее. Приходится долго-долго ждать мутации, а потом, при помощи соответствующего признака, "превозмогать" конкурентов.

[николай теллалов]

общество из "Маяковских/Есениных" вымрет от голода

дык не вымирали же, еще с этого, как его, который о Трое балагурил...

самоликвидация самых психически неустойчивых "бездельников"

постулат о психической неустойчивости именно этого сорта бездельников не вызывает к себе доверия.
Лучше сию теорему доказать ссылками на статистику, что вот например "типичный поэт" - обязательно неврастеник, а "типичный слесарь" - столп здоровой психики.
Есть исследование психпроблем по профессиям/талантам?

[Maki]

лаборатория, где собственно и создают то, что потом выкинут (или оно само прошмыгнет) на "дарвинов мороз"

Только и сама лаборатория вполне себе часть этого "мороза". Просто своеобразная.

дык элементы, а не вся среда

Дык и природная среда  отнюдь не хаотична, а выстроена на вполне определённых законах.             

новых пород таки не выводят

Таки более того - в природе встречаются целые симбионтные подвиды и виды. У тех же  муравьёв - и тли, и грибки, и даже некоторые породы деревьев.
Да и самого человека тоже "выводят". Коровы, вот, вывели путём длительной селекции весьма успешный и многочисленный лактозоустойчивый подвид!

[николай теллалов]

Просто своеобразная

сильно своеобразная
в которой и "нежизнеспособных" не сразу выкидывают, а берут из них удачные узлы, чего в "природе" не происходит - бракуется все оптом

природная среда  отнюдь не хаотична, а выстроена на вполне определённых законах

и эти законы чертят чертежи, создают концепции, тестируют образцы?

более того

это не более, это иное

[николай теллалов]

общество из "Маяковских/Есениных"

а, добавлю:
то же самое можно сказать про любое монопрофессиональное общество.

ну разве что про аграрное низзя, да вот монопрофессионально ли оно? Пусть примем, что да. Только тогда оно все равно и стишки и песенки сочиняет, буквально "без отрыва от производства" - т.наз. народное творчество, собственно источник вдохновления и подражания для "узких спецов".

[Maki]

чего в "природе" не происходит - бракуется все оптом

Разве? Сравните ваш геном, и геном мыши. Эволюция старается ничего не выбрасывать, и обходится искусными и весьма незначительными модификациями. 

и эти законы чертят чертежи, создают концепции, тестируют образцы?

Практически так. Только "чертежи" чертятся сами, путём случайных пошаговых изменений параметров. А концепции и образцы уже проходят жестокое тестирование на природном полигоне.

это не более, это иное

Именно "более того". И "мичуринский отбор" человеком наиболее продуктивных растений и животных - абсолютно тот же процесс, что и отбор муравьями тлей или грибов. И с отбором гаджетов и голосовых ассистентов - всё в точности то же самое.
Разумное прогнозирование и планирование просто убыстряет процесс на порядки. Суть же одна.

[BlackMokona]

И как, по вашему, программы конкурируют? Воруют друг у друга байты? При этом краденый байт может вывести из строя программу-похитителя.

Вы описали коротко эволюцию и ядовитые организмы.
Только не байты, а энергию в виде хим связей в нашем мире и в виде очков оценки в компьютерном.

[николай теллалов]

Разве?

геном вымерших где хранится? в ноосферном архиве?

Практически так

метафорически так

отбор" человеком наиболее продуктивных растений и животных - абсолютно тот же процесс, что и отбор муравьями тлей или грибов

подробнее о целенаправленно выведенных муравьями пород тлей где можно почитать? ну кроме как у Бернарда Вебера конечно.

[Rattus]

интеллект, способный сделаться эгоистичней встроенной программы, выбраковывается с бОльшей вероятностью, чем интеллект к этому неспособный

Т.е. допускает стратегическую ошибку. И какой же он после этого, по Висснер-Гроссу, суперинтеллект?
В свете уравнения В-Г эта ситуация описывается предельно просто: такая управляющая система максимизирует только параметр T (собственную могучесть в данный момент времени), не считаясь с потерями S-тау (степеней свободы до временного горизонта), которые в таком случае могут падать на несколько порядков (от многих тысячелетий до считанных лет) и итоговое произведение F в итоге не увеличится, а куда скорее сильно уменьшится. И что же это тогда будет за интеллект?

КиберРазум, же, в отличие от нас, эмоциями не наделён вовсе. Соответственно, никаких побудительных мотивов для бытия у него и нет.

Соответственно он или отключен от питания или в операционке не прописаны элементарные условия или принципиально вероятностный процесс самообучения пошёл по дефектному пути.

Вчера поменял компьютеру материнку. Ноль эмоций.

А вас, можно подумать, перед каждым засыпанием обуяет страх смерти? (В.п.с. кстати обуял - в 5-6 лет.)

дарвиновая эволюция в искусственно контролируемой среде?

Именно так.

но че-то маяковские не переводятся.
Значит невалиден тут "дарвин".

Ваше его понимание. Мутации вечны. Большинство мутаций нейтральны, многие вредны и только совсем малая доля может оказаться полезной в каких-то условиях.

новых пород таки не выводят

Как биолог мы бы вовсе не был столь категоричен. Мы в данном случае действительно значит не только я.

И если обычная Тьюрингова машина на 2+2 потратит три -шесть шагов до получения результата, при 3 четырёхразрядных регистрах, то для нейросети для этой операции нужен суперкомпьютер, при меньшей точности вычислений

Ну загибать-то не обязательно.

подробнее о целенаправленно выведенных муравьями пород тлей где можно почитать?

Только после того как вы дадите определение слову "целенаправленно" в терминах естественных наук.

[mbrane]

Разве? Сравните ваш геном, и геном мыши. Эволюция старается ничего не выбрасывать, и обходится искусными и весьма незначительными модификациями. 

и выбрасывает,  строит заново, и модификации бывают крупными...а с мышами мы разошлись  только 50 миллионов лет назад, а биота к тому времени существовала как минимум 3 милиарда лет , и 500 миллионов лет в сложной форме. посему для анализа движушей силы молекулярной эволюции вряди надо сравнивать близкороственные классы

[mbrane]

творят бывшие хиппи 60-70-х прошлого века

не факт ... а кто тебе сказал что реальные хиппи поднялись по социальной лестнице до уровня принимающиъ решениях... Да кстати по поводу преступлений против человечности - дык здесь тоже не все так ужасно - а точнее все мило и в роховом свете...да 20 век стал чемпионом по абсолютному числу жертв войн, только вот если перейти на относительные позиции то есть по отношениб к наличному населению - то 20 век - это реально век розовых бархатных революций и хиппи , живущих на дереве

https://arxiv.org/pdf/1812.08071.pdf
https://arxiv.org/pdf/1901.05086.pdf

[mbrane]

Вот, так и эволюционирует двуногая лысая обезьяна вместе со своими гаджетами и питомцами, в каком-то, пока не очень понятном направлении...

в очень понятном - вмаксимпально быстром стирании всех термодинамически неравновесных конфигураций


PS


Перечитывал выводы из работы о войнах


и  все тот же закон максимаизации производства энтропии в глубоко неравновесной диссипативной ячейке


These result seem to indicate that human conflicts are a critical phenomenon: we could say that humans worldwide tend to form societies existing in a self-organized critical condition, as defined by Bak et al. (Per Bak, Tang, and Wiesenfeld 1988). In these conditions, war is simply one of the methods that the system has to dissipate entropy at the fastest possible speed (Kleidon, Malhi, and Cox 2010),(Trinn 2018). In other words, war appears to be an unavoidable consequence of the behavior of human beings, and perhaps of other primate species (de Waal 2000).

[mbrane]

У Раттуса я подсмотрел хорошее словечко - "коэволюция".

Есть другое понятие  - супервид... или его

Скромные трудяги обществом востребованы. А криминальные гении - нет.

Но оказывается что пости всяз записанная история человечества - это не история скромных трудяг, а история криминальных гениев...Причем они и сейчас в реальном почете в любом народе (Цезаоь Македонский Сталин), и презительное отношение в любом народе к гречкосеям, когда речь заходит о воинах.... Я уж помолчу насколько популярны сюжеты об мошенниках и в литературе и в кино (остап ибрагимович, энди такер, фильмы гая риччи, ит.д.)- в этом году опять выпустили римейк Отпетых Мошенников....

[Rattus]

а кто тебе сказал что реальные хиппи поднялись по социальной лестнице до уровня принимающих решения...

https://ru.wikipedia.org/wiki/%D0%9A%D0%BE%D0%BD-%D0%91%D0%B5%D0%BD%D0%B4%D0%B8%D1%82,_%D0%94%D0%B0%D0%BD%D0%B8%D1%8D%D0%BB%D1%8C

да 20 век стал чемпионом по абсолютному числу жертв войн, только вот если перейти на относительные позиции то есть по отношениб к наличному населению - то 20 век - это реально век розовых бархатных революций и хиппи, живущих на дереве

Ну если геноцид индейцев, африканских рабов и падение Рима по вашему - века хиппи на деревьях - то вряд-ли есть смысл о чём-то ещё говорить. Ну и сливать в одну бочку обе половины того века (а точнее - от начала ПМВ до окончания китайской "Культурной революции", и до нонешнего момента) - это восхитительно, да.

[сэр Милорд]

а не замечали ли вы, что все ведет к тому что над нами будет вскоре доминировать ии?
даже автомобилем будет управлять ии, человеку только нужно будет задать маршрут и все, почему все делается так что бы устранить от человека ответственную деятельность, кто знает?

[николай теллалов]

над нами будет вскоре доминировать ии

институты всяких корпораций - тот же ИИ, примитивный только

устранить от человека ответственную деятельность

тогда неясно почему широко не применяют роботов-хирургов - дело как раз в юридической ответственности за ляп, адвокаты еще не придумали на кого вину спихивать.

собственно предназначение ИИ - разгрузить человека не от ответственности, а от скучной отупляющей работы.

не понимаю тех, кто видит в ИИ ласковую по форме, но деспотичную по содержанию няньку.
ИИ - партнер, а так же способ и нам подняться выше данной нам биологией шкуры.

[alena_korf]

ИИ - партнер

Раб.