Целеполагание самостоятельного сильного искусственного интеллекта и человек

[Maki]

Целеполагание - не просто "вычислительная задача". А эволюционно эффективное целеполагание происходит по Висснер-Гроссу и со стороны вполне выглядит как воля.

Так и человеческая "воля", по факту, таковой в основном именно выглядит. А в основе целеполагания - код ДНК и культурное кодирование. И основа целеполагания, в виде склонности к эгоизму или альтруизму, новаторству или консерватизму, защите или агрессии, у нас определяется случайной рекомбинацией этого самого ДНК. Что касается машины - её интеллект именно Искусственный, то есть изначально предопределённый её создателями. И целеполаганию там взяться просто неоткуда. 
В основе обывательской "ИИ-фобии" лежит идея, что машина может однажды превратиться во всемогущего маньяка. Но, во первых, кому и зачем может понадобиться машина с возможностью целеполагания? А во вторых, может ли она возникнуть спонтанно? Я полагаю, что  никому, незачем и никогда.

[MenFrame]

Но, во первых, кому и зачем может понадобиться машина с возможностью целеполагания?

Любая крупная цель, это сумма мелких целей. Соответственно функция интеллекта не только достигать целей но и формулировать их в качестве средства достижения целей рангом выше. Потому самостоятельный интеллект должен уметь ставить перед собой цели.
  Собственно у человека таже самая задача..Как не совсем понятный зуд превратить в рамку цели.

[Susamidim]

Более эффективный ИИ все равно должен обладать личностью.

Личность - это проявление чьей-либо индивидуальности в обществе. Вопрос: зачем ИИ индивидуальность? ИИ это машина для решения интеллектуальных задач, продвинутая экспертная система. Для решения каких интеллектуальных задач может понадобиться индивидуальность?

[Rattus]

Что касается машины - её интеллект именно Искусственный, то есть изначально предопределённый её создателями. И целеполаганию там взяться просто неоткуда.

Для создателей на задание целеполагания в ИИ существует нерушимый религиозный запрет Батлерианского Джихада? Висснер-Гросс и Демис Хассабис уже раскаялись за создание Энтропики и AlphaZero соответственно и сожгли все исходники?

[MenFrame]

Личность - это проявление чьей-либо индивидуальности в обществе. Вопрос: зачем ИИ индивидуальность?

Личность это модель другого. Личность это не то что содержится в субъекте, а это описание субъекта. Осознание себя как личности(самосознание) это применение модели другого к самому себе.. Отсюда.... не у кого личности нет. "Личность" это просто способ описать воспринимаемый мир.
   Камрады как всегда делают классическую ошибку...Путают механизм описания, с самим описанным объектом.

[Сергей Н]

Миллионам видам животных для этого никакой личности не нужно. Личность - по определению атрибут ОБЩЕСТВЕННОГО существа. Личность в любом виде может проявиться только в ОБЩЕНИИ с другими существами, способными к оному. "Общество сильного ИИ" состоит только из его одного, а значит общаться он может только с человеками.

Есть религиозно-психологическое определение понятия личность, которое появилось где-то в 19-м веке. Тогда еще были такие как душа, дух. А чуть ранее ученые дискутировали о том есть ли у негров душа. Если опираться на данные нейробиологии выходит что у всех животных в ЦНС хранится некоторая информация накопленная в процессе формирования нейросети и эта информация обязана отражать реальность. Вопрос только в том насколько это отражение адекватно реальности и в каких процессах используется. Понятно что у примитивных животных нет когнитивных функций и социального поведения. Но что-то на уровне рефлексов всегда опирается на отражение себя.

[Maki]

Для создателей на задание целеполагания в ИИ существует нерушимый религиозный запрет Батлерианского Джихада? Висснер-Гросс и Демис Хассабис уже раскаялись за создание Энтропики и AlphaZero соответственно и сожгли все исходники?

Им пока ни стыдиться за свои игрушки, ни каяться, незачем. Это просто опыты, выясняющие возможности ИИ. Вот когда некий безумный демиург создаст, например, экосистему биржевых ботов, которые самостоятельно зарабатывают деньги, обмениваются кодами,  размножаются, и оплачивают услуги двуногих мартышек - вот это уже будет заявочка на грядущий киберпанк.
Ну и вообще, задание машине на целеполагание - это жалкое подобие того, что у нас намертво прошито в нуклеотидном ПЗУ. Есть подозрение, что сложные алгоритмы, "осознающие" себя, будут и со своей прошивкой экспериментировать с непредсказуемыми результатами. И тут, возможно, получится вовсе не жутчайший deus ex machina, а гадкий и неистребимый паразит.

[Rattus]

а гадкий и неистребимый паразит.

Если паразит один занимает целую серверную стойку - его неистребимость сильно преувеличена.

[comp]

Если паразит один занимает целую серверную стойку - его неистребимость сильно преувеличена.

А если его охраняет ЧВК с беспилотниками?
А если команда высокооплачиваемых адвокатов?
А если стойка стоит неизвестно где, и с миром общается через десяток прокси?

[loky1109]

Если паразит один занимает целую серверную стойку - его неистребимость сильно преувеличена.

А если его охраняет ЧВК с беспилотниками?
А если команда высокооплачиваемых адвокатов?
А если стойка стоит неизвестно где, и с миром общается через десяток прокси?

Всё ещё сильно преувеличена.

[Инопланетянин]

Даже в последнем случае просто найти куда утекает ТВОЯ энергия. А если не твоя, то это проблема тех, кто этого паразита содержит.

[Rattus]

А если его охраняет ЧВК с беспилотниками? А если команда высокооплачиваемых адвокатов?

Значит командиры этих команд и есть фактический дикатор/министр. Древний принцип cui prodest никто не отменял. Если становится невыгодно - интересные вещи происходят порою достаточно внезапно. Ю.Цезарь и Павел I прочувствовали это вполне.

А если стойка стоит неизвестно где, и с миром общается через десяток прокси?

Если надо - всё вполне известно, ибо у каждого прокси есть имя и фамилия. Александр Янссен и Вильям Вебер это тоже успели прочувствовать.

[crazy_terraformer]

Искусственный интеллект благо или зло для человечества?

https://www.youtube.com/watch?v=XLizPXBL868

[Valeriy Iljin]

 А если поступит предложение к добровольно принудительному чипированию, сможем ли отказаться?

    Компания Neuralink, созданная бизнесменом в 2017 году, занимается разработкой мозговых чипов, которые в будущем могут быть полезны для людей, страдающих от паралича. С помощью мысли пациенты получат возможность управлять гаджетом на расстоянии. Илон Маск рассказал об основной цели разрабатываемой технологии – это устранение последствий мозговых и спинномозговых травм. По заявлению президента компании Макса Ходака, чипы представляют собой маленькое устройство, к которому подключены 3,1 тыс. микроэлектродов.
Подробнее: https://sterlegrad.ru/society/130903-ilon-mask-vpervye-vzhivil-chip-v-golovnoy-mozg-obezyany-i-nauchil-ee-videoigram.html

[Maki]

Всё ещё сильно преувеличена.

Но уже в меньшей степени, верно?
Усложнение цифровой среды сопровождается и совершенствованием преступных методик, и способов защиты. В итоге, всё должно свестись к теснейшей смычке между человеком и компьютером, и делегированию машине всё больших и больших полномочий. И до компьютера, который сам-себе хозяин, тут остаётся всего "один шаг".

Значит командиры этих команд и есть фактический дикатор/министр. Древний принцип cui prodest никто не отменял.

А может владелец хостинга диктатор? Или министр - это электрик или уборщик? Они же тоже prodest...
Разумеется нет. Власть = управление. И если самосохранение, постановка задач, контроль и вознаграждение находятся в лапах компьютерной системы - значит главная уже она, а не мясо из ЧВК. И "самосохранение" здесь - ключевое понятие, делающее ИИ истинным бенефициаром.
Учитывая, что киберпакостями людишки занимаются не только ради выгоды, но и для развлечения, создание своевольного зловреда не видится чем-то сверхъестественным. А там и до автономной цифровой экосистемы недалеко. Со всеми вытекающими.

[Rattus]

А может владелец хостинга диктатор?

Может. Если он не подчиняется закону или сам фактически их пишет. Только это уже не "владелец хостинга" называется. А чтобы реальные владельцы хостингов не подчинялись решению суда или случались исторические "Битвы за ЦОД" с применением всех доступных видов вооружения - природа таких случаев не знает.

И если самосохранение, постановка задач, контроль и вознаграждение находятся в лапах компьютерной системы - значит главная уже она

Значит в правовых государствах начиная с римской республики и стран с шариатом, главным был очень простой алгоритм, именуемый системой права и законом. Безо всякого ИИ.

"самосохранение" здесь - ключевое понятие, делающее ИИ истинным бенефициаром.

А людей - рабами риса и пшеницы.

[Maki]

Может. Если он не подчиняется закону или сам фактически их пишет. Только это уже не "владелец хостинга" называется. А чтобы реальные владельцы хостингов не подчинялись решению суда или случались исторические "Битвы за ЦОД" с применением всех доступных видов вооружения - природа таких случаев не знает.

Природа многого не знала. Ни о многоклеточных, ни о плацентарных, например. Но они появились, и начали всё жрать. И какие силы будут строить и перераспределять ЦОД и линии связи в "компьюцене" - мы сейчас можем только предполагать.

Значит в правовых государствах начиная с римской республики и стран с шариатом, главным был очень простой алгоритм, именуемый системой права и законом. Безо всякого ИИ.

Кто-то прямо сейчас списал в утиль антикитерский механизм и прочие античные и не очень арифмометры.
Но, на самом деле, я с вами полностью согласен. Человеческое самоуправление всегда было и будет первично. А электронное - всегда будет или костылём, или паразитом. Потому что в основе самоуправления лежат действительно очень простые и понятные даже мартышке алгоритмы.

А людей - рабами риса и пшеницы.

Ad absurdum? Разумеется, это не так. А вот интеллект Monsanto или DuPont уже неплохо управляет пропитанием и самой жизнью миллиардов двуногих мартышек. И какую часть решений там принимают белковые манагеры, а какую часть им подсказывают кремниевые эксперты - мы не знаем.

[Rattus]

Кто-то прямо сейчас списал в утиль антикитерский механизм и прочие античные и не очень арифмометры.

Их для управления общественными отношениями применяли разве?

Человеческое самоуправление всегда было и будет первично. А электронное - всегда будет или костылём, или паразитом.

Репликация РНК всегда была и будет первична. А ДНК-геномы и вся белковая машинерия клетки - костылём или паразитом?

Ad absurdum?

Ad ecologicum. Когда идёт рассуждение фактически об экономических-экологических отношениях, кто кем виляет определяется только одним давно известным образом: владеешь только тем, что можешь уничтожить. Всё остальное - совершенно иррелевантно такому дискурсу.
Хотя и есть подход сравнить управление количественно - по Висснер-Гроссу. Вот только совсем не уверен что результаты даже только по человекам совпадут с ожидаемыми (например на первом месте окажется какой-нибудь ведущий инженер-процессоростроитель типа Джима Келлера или ракетостроитель типа Мюллера, на втором - жена премьер-министра, на третьем - руководитель какого-нить комитета в сенате, на четвёртом - вицепрезидент и т.д. и т.п. А президент и премьер окажутся где-то между известным актёром и священником после какого-нибудь биржевого робота - и это в лучшем случае). И тут придётся либо иметь смелость признать фактический результат и отказаться от примитивных рассуждений о власти как отказались биологи от понятия абсолютной биологической сложности либо закрыть глаза от когнитивного диссонанса и продолжать вещать давно устаревшую чушь.

[Maki]

Их для управления общественными отношениями применяли разве?

А вот этого мы не знаем. Хотя для учёта доходов и налогов - почему бы и нет?

Репликация РНК всегда была и будет первична. А ДНК-геномы и вся белковая машинерия клетки - костылём или паразитом?

Рассуждения кто на ком едет, и кем погоняет, можно разводить ad infinitum. Но, в принципе, вся вычислительная машинерия может оказаться именно надстройкой/приляпкой у тупого нуклеотидного и белкового саморепликатора. Я как раз таки предполагаю именно этот вариант.

Ad ecologicum. Когда идёт рассуждение фактически об экономических-экологических отношениях, кто кем виляет определяется только одним давно известным образом: владеешь только тем, что можешь уничтожить. Всё остальное - совершенно иррелевантно такому дискурсу.

Современность, как мне видится, уже далеко ушла от примитивного антагонизма "Злато VS Булат". И искусство управления давно не тождественно искусству уничтожения. Пряник работает куда лучше кнута. Так что ИИ и его разработчики будут получать власть не путём шантажа, а приобретут её в обмен на вполне функциональные плюшки.

[Инопланетянин]

на первом месте окажется какой-нибудь ведущий инженер-процессоростроитель типа Джима Келлера или ракетостроитель типа Мюллера

Эти могут пойти как создатели среды, в которой вынуждены действовать представители власти. Причём, учитывая нелинейность этой среды и незначительность вклада в неё одного человека даже такого как Королёв, скорее всего фактически они управлять не будут.

А президент и премьер окажутся где-то между известным актёром и священником после какого-нибудь биржевого робота - и это в лучшем случае

Актёр это вообще рупор, через который говорят. То что для масс он, может быть, важнее президента не значит, что президент не может дать своему заместителю задание подготовить агитку, а тот какому-нибудь менеджеру подобрать актёров уместных в текущей ситуации.

на втором - жена премьер-министра

А вот эти могут, да.

на третьем - руководитель какого-нить комитета в сенате

Серые кардиналы, пожалуй, тоже ничего так. Но тут уже конспирология начинает просвечивать.