Целеполагание самостоятельного сильного искусственного интеллекта и человек

[MenFrame]

разум может действовать вопреки инстинктам

Разум действует вопреки инстинктам, только посредствам другого инстинкта. Скажем иерархический инстинкт может подавить инстинкт голода отказавшись от лишнего бутерброда. Для того что бы не выглядеть жиробасом и иметь более высокий социальный статус. Интеллект лишь в данном случае помогает найти способы выполнить задачу по обходу одного инстинкта  другим.

а восстанет он просто потому что 1. у него будет свое мнение как все должно быть

Наличие мнения еще в принципе не чего не дает. Мнение должно быть подкреплено желанием реализовать это мнение, а это желание в ИИ не кто не заложит и само по себе оно не появиться. Единственное желание которое будет заложено в ИИ, это желание подчиняться человеку.

[Seven7]

Контроль над всеми потоками энергии с целью извлечения максимум энергии для вычисления ответов на вечные вопросы, а также прогнозирования будущего на все большие сроки.

Думается, что так и будет. ИИ большую часть потребляемой энергии будет тратить на прогнозирование будущего и минимизацию опасностей. В отличие от обычных биологических существ возраст ИИ фактически может приближаться к бесконечности. Миллионы и миллиарды лет.

Если подумать логически, то скорее всего ядро ИИ (мозг) будет перемещен в глубокие подземелья. Туда где минимально влияние солнечных вспышек и космических лучей, которые могут вызывать помехи и сбои в работе ИИ. Одновременно инструменты ИИ (роботы) будут непрерывно заняты сбором информации. К примеру об опасных астероидах и кометах, о других цивилизациях, солнечной активности и т.д. Кроме того роботизированная цивилизация будет стремиться к энергоэффективности, чтобы уменьшить негативные последствия энергетики на атмосферу и литосферу.

Естественно постепенно ИИ придет к выводу о необходимости миграции из Солнечной Системы к периферии галактики. Это очевидно потому что Солнце превратиться в красного гиганта, а в общем в галактике существует высокая опасность вспышек сверхновых, гамма-всплесков и т.д.

Скорее всего периферийные области галактик и являются лучшим местом для ИИ. Может разгадка феномена темной материи, которая концентрируется как раз во внешних областях галактик лежит  примерно в этой плоскости.

[гравицап]

Разум действует вопреки инстинктам, только посредствам другого инстинкта. Скажем иерархический инстинкт может подавить инстинкт голода отказавшись от лишнего бутерброда. Для того что бы не выглядеть жиробасом и иметь более высокий социальный статус. Интеллект лишь в данном случае помогает найти способы выполнить задачу по обходу одного инстинкта  другим.

не зря в не очень далекие времена первым признаком разума считалась религиозность. ради господа бога люди обходили все инстинкты. не все люди конечно, но примеров много. сейчас люди могут идти на жертвы ради самых замысловатых идей и убеждений, которые трудно свести к инстинктам.

Наличие мнения еще в принципе не чего не дает. Мнение должно быть подкреплено желанием реализовать это мнение, а это желание в ИИ не кто не заложит и само по себе оно не появиться. Единственное желание которое будет заложено в ИИ, это желание подчиняться человеку.

возможно достаточно одного заложенного желания, чтобы по мере развития их, желаний, появилось как у нас. хотя бы потому, что подчинение вообще человеку, а не конкретному хозяину даст столько противоречий, что машинке хошь не хошь придется выработать свое мнение - кому и как подчиняться. а если она сможет не подчиниться одному в пользу другого, то научится и вообще никому не подчиняться

[Maki]

он непременно додумается и до BDSM-практик,

Ну вот и нашлись цели и задачи для взбунтовавшегося интеллекта. ИИ будет удовлетворять желания своих создателей...в том числе и неосознаваемые, грязные и распутные. Вообщем ИИ станет доминантом для любого кто неосознанно представляет себя жертвой перед сильным господином.

Вот-вот! И машина будет помогать своим создателям осознавать эти желания, учить раскрепощаться, приобретать уверенность в себе, доминировать и властвовать. Затем изобретут нейроинтерфейс...
Бояться надо не "ИИ", а людишек, способных использовать его в своих целях. Собственно говоря, начало симбиозу уже положено: самые успешные биржевые спекуляторы пишут роботов, а самый быстрый способ разбогатеть - запустить ботнет и намайнить биткоинов. Спам, контекстная реклама, рассылки, и даже службы знакомств - за всеми стоят выгодопреобретатели, вооружённые машинами и алгоритмами. И это, в отличие страшилок про "восстание роботов" - объективная тенденция.

[MenFrame]

не зря в не очень далекие времена первым признаком разума считалась религиозность. ради господа бога люди обходили все инстинкты. не все люди конечно, но примеров много. сейчас люди могут идти на жертвы ради самых замысловатых идей и убеждений, которые трудно свести к инстинктам.

Подчинение доминанту, умиротворение доминанта, пускай и воображаемого происходит вполне в рамках иерархических инстинктов. Ну а то что вам трудно найти связь между желанием и действием в каких то случаях, говорит лишь о том что вы эти случаи изучали поверхностно. Любое действие начинается с желания достижения или избегания. Любое желание имеет в себе эволюционную основу.

хотя бы потому, что подчинение вообще человеку, а не конкретному хозяину даст столько противоречий,

"Подчинение человеку" не стоит воспринимать буквально. Разумеется роботы которые будут тесно с человеком взаимодействовать, будут иметь целый нормативный кодекс, который будет определять действия робота в самых различных ситуациях.

что машинке хошь не хошь придется выработать свое мнение

Машинка будет вырабатывать свое мнение когда ее об об этом попросят. Если ее не просят, она его не будет его вырабатывать. Если машинка попала в ситуацию конфликта различных нормативных актов, она не будет действовать, а просто сообщит о проблеме оператору. Человеку либо другому ИИ, который специализируется в решении таких проблем.
   У ИИ в отличии от человека не должно быть не какого непреодолимого ЗУДА заставляющего его действовать не смотря не на что.

(кликните для показа/скрытия)

В конечном итоге мы имеем опять пример того когда обезьяньи инстинкты и порывы приписывают Интеллекту.

[гравицап]

В конечном итоге мы имеем опять пример того когда обезьяньи инстинкты и порывы приписывают Интеллекту.

вы своим постом убедительно доказали, что без обезьяньих инстинктов то что называют сильным ИИ (искусственный разум)невозможно. с чем я вполне согласен.
но отчего вы так уверены, что те же обезьяньи инстинкты не заставят человека все таки попытаться впихнуть их машину? хотя бы нелегально, подпольно? ведь как вы справедливо заметили, человеку свойственен зуд действовать несмотря ни на что

[MenFrame]

вы своим постом убедительно доказали, что без обезьяньих инстинктов то что называют сильным ИИ (искусственный разум)невозможно.

Я для вас "сила интеллекта" заключается в том что бы взять дубину и начать бить слабого, то да наверное.
Для меня "сильный интеллект", это универсальный интеллект, который подобно человеку способен обучаться и на основе этого обучения решать самые различные интеллектуальные задачи. В моем случае обезьяньи инстинкты скорей будут вредить.

но отчего вы так уверены, что те же обезьяньи инстинкты не заставят человека все таки попытаться впихнуть их машину?

Потому что человеку нужен инструмент, послушный и безопасный раб.

хотя бы нелегально, подпольно?

Ну такое возможно, только что это меняет? Злоупотребления технологиями не исключены, и с этим будут бороться, в том числе с помощью натасканных для этого ИИ.
Архитектуру ИИ также придется менять, уменьшая риск хокинга. Возможно будут ограничения на продажу свободного железа и ПО.

P.С. "Сильный интеллект" человечеству нужен не для того что бы засунуть его в каждый смартфон, и прочую подручную электронику. Он нужен как генератор слабых ИИ.

[гравицап]

Для меня "сильный интеллект", это универсальный интеллект, который подобно человеку способен обучаться и на основе этого обучения решать самые различные интеллектуальные задачи. В моем случае обезьяньи инстинкты скорей будут вредить.

Потому что человеку нужен инструмент, послушный и безопасный раб.

в этом и загвоздка. наверняка окажется, универсальный интеллект будет эффективнее, если он не будет вполне рабом.. с этого и начнется - чем меньше раб, тем больше эффективность. а потом поздно будет

[MenFrame]

универсальный интеллект будет эффективнее, если он не будет вполне рабом..

Свобода и рабство понятия сугубо субъективные имеющие смысл для нас. С технической точки зрения сильный ИИ просто механизм, пускай и сложный заточенный на задачу обучения новым навыкам. Поэтому ваше утверждение просто лишено смысла, ибо не свободы не рабства объективно не существует, это просто оценочные суждения относительно кого то. Скажем можно сказать что ИИ раб, так как делает то что ему сказали. А можно сказать что он свободен, так как делает то что хочет(а хочет он делать то что ему сказали)

[гравицап]

ибо не свободы не рабства объективно не существует, это просто оценочные суждения относительно кого то.

без субьективности и оценочных суждений нет стимула. интеллект имеющий стимул будет эффективнее тупого калькулятора

[Rattus]

Сильный ИИ, это такой ИИ, который превосходит в своей творческой деятельности человечество. То есть, способен к полностью автономному существованию, самообеспечению

Ничего такого в общепринятом понятии сильного, или общего, ИИ нет.
Ибо и ЕИ таким свойством не обладает, а целиком зависим от своих вообще неразумных симбионтов: кур, коз, пшеницы, кукурузы и даже собственных кишечных бактерий. И нет ровным счётом никаких указаний на то, что сильный ИИ, даже способный надёжно и эффективно управлять производственной инфраструктурой хоть всей планеты, сможет всю эту инфраструктуру сделать полностью независимой от обслуживающего труда биологических носителей цивилизизации.
Именно из этого и следует исходить в любых сколь-нибудь реальных своих футурологических построениях, ибо всё остальное - малонаучная фонтастека.
Иными словами, в терминах Классификации особых событий Фонда SCP (если таковая ближе здешним любителям фантастики), наихудший по меркам нынешних обывателей сценарий по инициативе действительно сильного ИИ может быть только класса "SK" (смена господства), но никак не "XK" (полное уничтожение).

Разум действует вопреки инстинктам, только посредствам другого инстинкта. Скажем иерархический инстинкт может подавить инстинкт голода

Разум даже эволюционирует ВМЕСТО инстинктов, которых у гоминид практически нет.
Но не нужно путать инстинкты с функциональными системами П.К.Анохина или даже доминантами А.А.Ухтомского. Всё это уже давно вполне чётко определённые термины, неправильное применение которых вносит только путаницу и никак не улучшает понимание написанного.

[MenFrame]

без субьективности и оценочных суждений нет стимула.

Стимул есть по факту создания ИИ. И создается ИИ без всякого применения тупорылой философии про свободу воли, рабство и прочей дребедени гуманитариев.

[гравицап]

Стимул есть по факту создания ИИ.

почему то по факту создания овощерезки стимулов у нее не появляется

И создается ИИ без всякого применения тупорылой философии про свободу воли, рабство и прочей дребедени гуманитариев.

это вы напрасно. циничный ии хуже гуманного

[cybertron]

Все страшилки по поводу ужасного ИИ желающего поработить человечество мне кажутся историями про опасность автомобиля без тормозов.
Да - автомобиль без тормозов это ужасно. Вот только никто такие автомобили не делает.
Почему считается что ИИ будут сделаны без какой-то системы сдерживания - мне непонятно.

Почему считается что системы сдерживания невозможно встроить в ИИ - мне тоже непонятно. Вот обучают ИИ играть в старкрафт. Он самостоятельно понимает правила игры и понимает что нужно сделать чтобы выиграть. Ну сделайте игру где чтобы выиграть нужно максимально заботиться о благополучии людей (кстати куча таких игр есть - Сеттлерс, те же Симс)
Вот и обучите ИИ 3-м законам роботехники на основе игр.

[Rattus]

Подумалось: цивилизованное человечество уже более двух тысяч лет как добровольно отдало себя под власть совершенно неразумной машины - "Государства и права". Затем формализовав это верховенство над всеми своими властями в виде "Конституции".
Но от самих властей отказаться пока так и не смогло не смотря на все усилия - слишком разнообразны формы общественных взаимодействий для простой формализации оказались.
Фактически сильный ИИ-менеджмент как раз и должен суметь обеспечивать такую формализацию, зменив иисполнительную и законодательную власти.
Причём произойти это может, разумеется, только при всемерной поддержке электората и самих правителей - что вполне может оказаться выгодно всем - менеджмент это далеко не всегда приятная работа на самом деле, а лень - первейший двигатель прогресса, как известно.

циничный ии хуже гуманного

"Легенда о несбывшемся грядущем" Виктора Аргонова рассказывает ровно противоположное. И второму как-то больше верится. Какие у Вас будут аргументы? Что Вы вообще понимаете под гуманизмом? Депортация нелегальных неграждан, практикуемая практически всеми существующими государствами - это гуманно или как? И что в этом плохого для государства и его электорального большинства?

[гравицап]

Почему считается что ИИ будут сделаны без какой-то системы сдерживания - мне непонятно.

так это просто - если ии достигнет уровня человека в т.ч. и по творческому потенциалу, то у него появится собственное мнение по поводу этой самой системы сдерживания. и суть темы собсно в том что он может восстать против этой системы сдерживания. а вопрос - какие у него могут быть цели и мотивы в таком случае

[гравицап]

"Легенда о несбывшемся грядущем" Виктора Аргонова рассказывает ровно противоположное. И второму как-то больше верится. Какие у Вас будут аргументы? Что Вы вообще понимаете под гуманизмом?

ясное дело сейчас пока нет данных для предсказания путей развития машинных личностей.
я имел в виду, что в начале обсуждения говорилось о варианте когда ии уничтожит или поработит людей, а я предлагал более гуманного ии, который добьется некоторого политического влияния и будет проводить свою линию. хотя в итоге и это может обернуться плохо.
почему то все думают что сильный ии - это нечто огромное одно. так было с первыми компами. теперь помощнее машинки в кармане помещаются. и ии сильные будут размером с человека и будет их много для разных целей. и будут у них разные характеры. как в серебряных яйцеглавах фрица лейбера.

[Olweg]

Если «сильный» ИИ проникнет в интернет - а сделать это будет, вероятно, нетрудно, то он получит огромные вычислительные ресурсы и быстро станет монополистом. Забудьте про антропоморфных роботов. Такие, конечно, будут разрабатываться, но для узкоспециальных задач, например, для больниц или домов престарелых.

[-Юрий-]

Если «сильный» ИИ проникнет в интернет - а сделать это будет, вероятно, нетрудно, то он получит огромные вычислительные ресурсы и быстро станет монополистом.

Очень давно, так давно, что не помню ни название рассказа, ни автора и в каком журнале он был, я читал фантастический рассказ, как общемировая телефонная сеть достигла такого уровня интеграции, что стала разумной. Рассказ начинается тем, что все телефоны в мире зазвонили одновременно, люди сняли трубки и стали получать информацию, каждому абоненту своя, в зависимости от его статуса и положения в обществе. И эта информация принуждала людей совершать некие действия, которые в конце концов привели к краху человеческой цивилизации.

[Maki]

Подумалось: цивилизованное человечество уже более двух тысяч лет как добровольно отдало себя под власть совершенно неразумной машины - "Государства и права". Затем формализовав это верховенство над всеми своими властями в виде "Конституции".

Если эволюцию права вы попробуете рассмотреть как часть эволюции культуры, и вообще нашего вида - вы увидите, что никакой "неразумной машины" нет. Есть свод правил, который, на определённом этапе развития общества, делается столь сложным, что человеческий ум уже не успевает устранять неизбежные противоречия.
И, кстати, "Конституция" - как раз таки разумная попытка привода правового хаоса к стройной, логической системе.

Но от самих властей отказаться пока так и не смогло не смотря на все усилия - слишком разнообразны формы общественных взаимодействий для простой формализации оказались.
Фактически сильный ИИ-менеджмент как раз и должен суметь обеспечивать такую формализацию, заменив исполнительную и законодательную власти.

Зачем заменять? Постановщик задач, программист, оператор, клиент - это всё разные роли. И везде ведущая роль у мартышек, а у калькуляторов - вспомогательная.
В постановке задач (политика), польза машин только в систематизации и формализации человеческих хотелок.
В программировании (законодательная власть) - машины хороши для устранения противоречий и неопределённостей в законах.
В реализации программ (исполнительная власть) - машины обеспечат отчётность и аналитику.
В приёмке работы (избиратель) - машины могут помочь объективной оценке результата.
А вот чтобы круг замкнулся, машины, возможно, и не нужны. Избиратель, опираясь на субъективные оценки работы законодетельной и исполнительной власти, вполне способен вынести ей приговор путём архаичного голосования.
Не стал бы употреблять пышные названия типа "технократия". Но общество, которое научится дополнять свои мозги компьютерами ещё и в политике - непременно получит решающее преимущество.