Посттехносингулярный мир и искусственный суперинтеллект: как он будет выглядеть?

[Polnoch Ксю]

Тирания свободы?

Тирания несвободы. Где Вы нашли свободу в моих высказываниях я не знаю.

Вы, свободный челоек, боитесь местной тирании?

боюсь бана на АФ и закрытия полезной, на мой взгляд, темы.

и значит банить будут меня за всё что я опубликовал

И меня за соучастие

[AlexDark]

Счастья объективно не существует, поэтому оперирование этим термином, это очередное манипулятивное обещание "рая", "сладкой жизни" и прочих  пустых конструктов. Я уже выше писал про Аргонова. который тоже сует это самое "счастье" в качестве главного приоритета.

А про ИИ и свободу - имхо, все разговоры вокруг него, и эта тема в частности - это очередная трансформация древнейшего мифа о приходе героя/спасителя или же злодея/антихриста, позволяя переложить на этого пришельца всю ответственность за благоденствие в первом случае и страдание во втором, а самим сказать "у нас лапки" и ничего не делать. Сингулярность в этой схеме есть момент отказа от свободы воли, но т.к. невозможен коллективный отказ от свободы воли, сингулярность невозможна, точнее возможна исключительно с применением ультранасилия, причем при любой этической ориентации мифологического пришельца.

[alex_semenov]

Я думаю, для всякого интеллектуала критична возможность вести открытые обсуждения своих и чужих идей.

Думать свободно - вправе каждый (другое дело: может ли это каждый? Я вот в себе - не уверен, хотя всю жизнь пытаюсь выпутаться из пут навязанного мне воспитанием, пытаюсь отделить зерна от плевел). Но вот обсуждать это открыто и публично - уже "социальное поведение". То есть игра по правилам некого социального устройства (скажем, этого форума). И значит тут не может быть абсолютной свободы. Нигде.
Я когда-то, став микроначальником и решая производственные проблемы в иерархической системе предприятия быстро (пару месяцев) вывел шутливый закон:

Дабы в иерархической системе произошли хот какие-то (благотворные) изменения, кто-то должен взять на себя больше обязанности (и риска) чем положено ему по его штатному рассписанию.

То есть ПОЙТИ НА РИСК нарушения правил. То есть ты должен НАРУШИТЬ правила, что бы система улучшилась (или ухудшилась, не важно, изменилась). Любая система - гомиостатична. Она стремиться сохранить себя как есть. И поэтому консервирует себя в "штатных расписаниях".

И помсотрите. В любом "открытом", "свободном" пространстве публичного обсуждения есть ГРАНИЦЫ, которые переступать нельзя. То есть эта свобода - СИМУЛЯКР.  Не более.
Верно?
Те же пресловутые окна Овертона, пресловутые. (где границы устанавливает не закон, а так называемая "общественная мораль" или комильфо).
И по-сути свобода (воля, бунт, "в топоры, мужики, в топоры!") - это как раз способность вырваться за пределы установленных тебе и (главное) в ТЕБЕ границ.
Это всегда РАЗРУШАЮЩЕЕ общественные устои деяние. Выход за пределы уютного, привычного, накатанного, устоявшегося.
Социально любая настоящая свобода - преступление.
Как не верти. То есть общество, якобы, поклоняющееся "свободе" - это ХАНЖЕСКОЕ общество. Это "порядок" поклоняющийся "разрушению".
Согласны?

[Polnoch Ксю]

То есть игра по правилам некого социального устройства (скажем, этого форума). И значит тут не может быть абсолютной свободы. Нигде.

абсолютная свобода, в общем, и не нужна. Для интеллектуального обсуждения своих тезисов или тезисов оппонентов не требуется сказать слова приказа киллеру убить оппонента. Или не требуется дискридитировать слова оппонента указанием на, например, цвет кожи оппонента.
Не поможет интеллектуальной дискуссии и призывы к толпе сжечь расчеловеченного оппонента. Такие ограничения вполне разумны, потому, что не помогают дискуссии, а мешают ей. Пруф: https://ru.wikipedia.org/wiki/%D0%9F%D0%B0%D1%80%D0%B0%D0%B4%D0%BE%D0%BA%D1%81_%D1%82%D0%BE%D0%BB%D0%B5%D1%80%D0%B0%D0%BD%D1%82%D0%BD%D0%BE%D1%81%D1%82%D0%B8

Другое дело, что я думаю, что ASI не будет нужды вступать с нами в интеллектуальные дискуссии. Он не установит в дискуссии с нами истины. А значит, при управлении обществом людей ASI, у последнего потребности в дискуссиях экспертов не будет.
Я бы даже предположила, что у злодея-человека, у которого в кластере запущено несколько миллионов энштейнов(инстансов AGI), даже у него не будет такой нужды.

[Инопланетянин]

Я с омрзением отношусь к либеральной "повесточке" и массовому сознанию погружённому в этот поток кретинистического "свободоборства". И термин "тирания" - один из самых засаленных и раздражающих жупелов либирассных дуралеев, у которых всё их куцее "миропонимание" построенное вокруг  неосознанных нередцуируемых "святынь" "свобода-тирания". Я никогда не мог понять этого дурацкого пафоса и танцев дураков вокруг этого карго-культа "свобода-тирания". Почему ДУРАЛЕИ с этим призраком так носятся?
Вика, вы мне растолкуете?
Может найдётся дугой мудрец, который мне, тупорылому, растолкует? Милости прошу.

Я тоже не люблю либерастов, но именно потому, что они, пропагандируя свободу и борьбу с тиранией, являются на деле самыми отъявленными тиранами.

И так. Что же такое тирания? Почему мы так ее боимся? Почему так НЕПРИЕМЛИМ?

Тирания это когда что-то забирают. Вещи, время (принуд. работы) мнение и т.д. Например, были ли свободны арабские страны не отдавать нефть за фантики? Нет, не были свободны. Они подвергаются тирании. Свободна ли Дания не отдавать Гренландию? Ну вот как вы сами думаете? Не отдадут? А свободна ли Канада не стать ещё одним штатом США? Надеюсь, я смог изложить своё видение тирании?

Например... тирания любви и секса.

Ну это, получается, изнасилование.

Если никто не воспринимает тиранию как титранию, является ли это ФАКТИЧЕСКИ тиранией?

Если вас никто не грабит и ни к чему не принуждает, но у вас всё как-то само собой пропадает, то значит - вас тиранит кто-то очень умный, многократно умнее вас. В принципе, с лохами так поступают даже без ИИ. МММ, например, если кто помнит. Но тут лохами может оказаться всё человечество. Не так уж маловероятно, учитывая звонки службы безопасности и требования перевести деньги на безопасный счёт. Уж казалось бы, 90-ые за плечами пора бы набраться ума, а вот поди ж ты. Воспринимают ли жертвы мошенников это как тиранию? Можете ли вы убедить доверчивых людей, что они жертвы и страдают от тирании телефонных мошенников?

[Olweg]

А давайте сделаем так. Вы мне напишете в личук, я тут это без купюр процитирую и даже попробую публично ответить, и значит банить будут меня за всё что я опубликовал (я могу даже ваш ответ заананимить).

И лучше, наверное, под это создать отдельную тему. Иначе тут всё как обычно скатится известно куда и хорошую тему быстро прикроют.

Ну, собсно, уже началось

[AlexDark]

А тирания - это отнятие свободы воли, поэтому сингулярность есть тирания при любом этическом векторе.

[Инопланетянин]

А тирания - это отнятие свободы воли

Тут некоторые отрицают свободу воли, сводя все поступки человека к набору сложных программ. Так что придётся определять через отнятие каких-то мат. или дух. ценностей

[Polnoch Ксю]

Например, были ли свободны арабские страны не отдавать нефть за фантики? Нет, не были свободны.

очень интересное утверждение. Как Вы думаете, существует ли у такой выдуманной концепции, как страна, квалиа и чувства? Нет? Как тогда выдуманная концепция может ощущать угнетение?

Это одна из типичных когнитивных ошибок людей. Её разбирает, в частности, такой мыслитель как Харари в своей книге Sapiens. Цитирую под спойлером кусок книги:

(кликните для показа/скрытия)

В каком смысле мы говорим о существовании Peugeot SA (так официально именуется компания)? Автомобилей Peugeot мы видим вокруг сколько угодно, однако ведь не саму компанию. Даже если бы все автомобили Peugeot одновременно отправились в металлолом, Peugeot SA не исчезла бы. Она продолжала бы производить новые машины и публиковать ежегодные отчеты. Компания владеет заводами, станками, демонстрационными салонами, нанимает механиков, бухгалтеров и секретарей, но и это имущество, и эти люди в совокупности тоже не есть Peugeot. Если бы стихийное бедствие сгубило всех служащих Peugeot, снесло и сборочные цехи, и офисы, все равно компания могла бы взять кредит, пригласить новых сотрудников, построить заводы, купить необходимое оборудование. Компания имеет руководство и акционеров, но и они не есть компания. Всех менеджеров можно уволить, все акции продать, а компания сохранится.

.

Из этого отнюдь не следует, будто Peugeot SA неуязвима и бессмертна. Если судья вынесет постановление о закрытии компании, то заводы никуда не денутся, рабочие, бухгалтеры, менеджеры и акционеры останутся в живых, а вот Peugeot SA перестанет существовать. Короче говоря, Peugeot SA, по-видимому, не укоренена в материальном мире. Существует ли она на самом деле?

.

Peugeot — это фикция, порожденная коллективным воображением. Слово «фикция» обозначает нечто вымышленное, то, что существует именно благодаря нашему общему согласию вести себя так, словно оно действительно существует. Юристы так и называют это явление: «юридическая фикция». Материальной реальности тут можно и не искать, но компания существует в качестве юридического лица. Как вы и я, она подчиняется законам тех государств, где оперирует. Она вправе открыть банковский счет, владеть собственностью. Она платит налоги и может отвечать перед судом по гражданскому и даже по уголовному делу самостоятельно, то есть отдельно от людей, которые работают в ней или являются ее владельцами.

.

Peugeot принадлежит к особой разновидности юридической фикции: «компания с ограниченной ответственностью». Это одно из самых изощренных человеческих изобретений. Многие тысячелетия Homo sapiens ничего подобного не знал. На протяжении почти всей известной нам истории собственностью могли владеть лишь реальные люди, из плоти и крови, — те, кто крепко стоял на ногах и имел соответствующий размер мозга. Если во Франции в XIII веке некий Жан открывал мастерскую по производству карет, он и его бизнес представляли собою практически одно целое. И если бы сколоченная им карета разломалась через неделю после продажи, недовольный покупатель подал бы в суд именно на Жана. Если бы Жан занял у кого-то тысячу золотых, чтобы начать дело, и в результате обанкротился, ему пришлось бы продавать свое личное добро, лишь бы расплатиться. Дом, корову, землю, а может быть, и родных детей. Если бы этого не хватило на покрытие издержек, власти могли посадить Жана в долговую яму или же кредиторы могли обратить его в рабство. Он нес полную, неограниченную ответственность за любые обязательства, которые приняла на себя мастерская.

.

В ту пору человеку приходилось дважды — да нет, больше раз подумать, прежде чем начать бизнес. Подобная юридическая система не способствовала развитию предпринимательства. Люди опасались открывать собственное дело, брать на себя финансовые риски — ведь в случае провала всей семье грозило разорение и даже утрата свободы.

.

Вот почему со временем люди и создали этот продукт коллективного воображения — компанию с ограниченной ответственностью. По закону такая компания отделена от людей, которые ее основали, и от тех, которые вложили в нее деньги или же ею руководят. За последние столетия именно такие компании стали лидерами в экономике, мы привыкли к ним и стали забывать, что они существуют лишь в нашем воображении. В США такого рода компании именуются «корпорациями» — забавно, ведь происходит этот термин от латинского corpus — «тело», но физического тела у корпорации как раз и нет. Что не мешает американской судебной системе обходиться с корпорациями как с субъектами права: в этом смысле они приравнены к настоящим, из плоти и крови, людям.

.

Так действовала и французская судебная система, когда в 1896 году Арман Пежо, унаследовавший от родителей металлургический завод по производству пружин, пил и велосипедов, решился выпускать автомобили и основал компанию с ограниченной ответственностью. Компанию он назвал собственным именем — и тем не менее она была от него независимой. Если у кого-то ломалась машина, огорченный покупатель мог судиться с Peugeot. Но не с Арманом. И если бы компания, набрав в кредит миллионы, обанкротилась, сам Арман Пежо не был бы должен кредиторам ни франка, ведь заем получила компания Peugeot, а не Homo sapiens Арман Пежо. Peugeot-человек умер в 1915 году. Peugeot-компания здравствует до сих пор.

.

Каким же образом человек по имени Арман Пежо создал Peugeot, юридически оформленную компанию? В сущности, тем же способом, каким во все века священники и жрецы создавали богов и демонов, а тысячи французских кюре поныне каждое воскресенье предъявляют своим прихожанам Тело Христово: в основе этих чудес — фикция, которую люди приняли, в которую поверили. Когда католический священник, облаченный в предписанные обрядом одежды, торжественно произносит в определенный момент положенные слова, обычные с виду облатка из теста и вино превращаются в плоть и кровь Христа. Священник провозглашает: «Нос est corpus теит!» («Сие есть тело мое!»), и — фокус-покус — облатка превращается в плоть. Миллионы французских католиков ведут себя так, будто Бог действительно присутствует в освященных вине и хлебе.

.

Для Peugeot SA ключевым сюжетом стал закон, принятый французским парламентом. С точки зрения французского права, если имеющий лицензию юрист выполнит должным образом всю ритуальную последовательность действий, напишет правильные заклятия и заклинания на специально оформленном листе бумаги и скрепит своей подписью с завитушками, то — фокус-покус — появится новая компания. Когда в 1896 году Арман Пежо надумал основать компанию, он заплатил юристу за все эти священные процедуры. И поскольку юрист осуществил все предписанные ритуалы, написал и произнес все положенные заклятия, то миллионы французских граждан поверили в раздвоение Пежо на прежнего Армана-человека и на новенькую компанию Peugeot SA, к которой они стали относиться со всем подобающим такой корпорации почтением.

.

Сочинить жизнеспособный сюжет не так-то просто. Жрецы и священники должны были хорошо разбираться в возможностях, предпочтениях и даже капризах бесчисленных богов, духов и демонов. Например, если во время засухи заклинатель хотел вызвать дождь, прежде всего ему требовалось знать, какое божество контролирует погоду. Можно ли, к примеру, выпросить дождь у владыки морей или же за это отвечает исключительно покровитель ветра? Чтобы выяснить это, колдун всматривался в мифы, в различные истории, которые его племя рассказывало о богах. Сходным образом, когда юристу нужно разобраться в правах и обязанностях компании с ограниченной ответственностью, он изучает набор правил, составленных его обществом (правда, свод этих сюжетов, «предпринимательское право», куда скучнее мифов). Юристы, занимающиеся предпринимательским правом, подробно, изо дня в день, изучают такие сюжеты и бесконечно дискутируют с коллегами, имеет ли корпорация такое-то или такое-то конкретное свойство или нет. Например, может ли она владеть территорией? Может ли вести войны? Монополизировать какую-то отрасль?
* * *

Все это стало возможно благодаря развитию языка воображения: с его помощью мы представляем себе и описываем явления, существующие исключительно внутри наших рассказов. И штадельский человеколев, и компания Peugeot сделаны не из атомов, не из живых белков, а из вымысла. За века и тысячелетия люди научились сочинять чрезвычайно сложные сюжеты. В этой сети мифов фикции, подобные Peugeot, не только существуют, но и накапливают неслыханную мощь — они гораздо сильнее льва или целой львиной стаи. Однако вне такой сети их существование невозможно. Если бы все сапиенсы дружно утратили способность обсуждать то, чего не существует в реальности, компания Peugeot исчезла бы во мгновение ока, а с ней вместе биржи, религии, государства, деньги и права человека.

.

В научных кругах такие явления, которые порождаются мифами и иными сюжетами, именуются «фикциями», «социальными конструктами» или «воображаемыми реальностями». Воображаемая реальность — вовсе не ложь. Солгать — значит сказать, что у реки ты видел льва, когда на самом деле ты прекрасно знаешь, что никакого льва там нет. Сама по себе ложь — даже не привилегия сапиенсов. Зеленые мартышки уличены во лжи: они испускают клич, предупреждающий о приближении льва, когда никакого льва нет и в помине. Отпугнув таким образом сородича, только-только подобравшегося к банану, лжец завладевает лакомством.

Я думаю, что это "баг" хомо сапиенса. Ну вроде "бага" кота: когда его берут за шкирку, он замирает. Ну или когда кукушка подкладывает другим птицам птенца, и они его кормят, очарованные его большим открытым ртом, большим чем у их родных птенцов. Мы всегда готовы придумать, например, несуществующего персонажа, скажем, болотного духа, и наделить его чувствами, антропоморфировать его.

Мы создаём AGI по своему образу и подобию. Он либо будет иметь ту же проблему (антропоморфировать всё), либо по крайней мере понимать, что мы вот так мыслим. Но по мере развития до ASI, это станет нашей уязвимостью. То, что сейчас используют другие люди для угнетения, будет использовано... Я не знаю для чего, и ASI не будет иметь сдерживающих механизмов. Учёные часто говорят, что наверх пробираются люди без эмпатии, психопаты. Но ASI вообще будет нёхом, суперхищником: он будет отлично нас понимать, но не будет страдать вот вообще ни от каких врождённых самоограничений.

[alex_semenov]

абсолютная свобода, в общем, и не нужна. Для интеллектуального обсуждения своих тезисов или тезисов оппонентов не требуется сказать слова приказа киллеру убить оппонента. Или не требуется дискридитировать слова оппонента указанием на, например, цвет кожи оппонента.

А раз нет абсолютной свободы, нехрен из нее делать ИДЕАЛ  и на этом разводить дураков! Запад омерзителен именно этим. Он делает идола из того, чего нет.
А если кто-то пытатся разобраться (как я здесь) тут же возникает (как у вас) "вы не правильно всё поняли"...

Оказывается свобода не полная. То есть "идол", обманка, симулякр. А зачем же ей приклоняться?

Кстати, я не под диктотором Пу, я хуже, я  в самом центре Украины под придурком Зе. И тут реально хунта и правовой беспредел. О свободе слова (мыслеизъявления)... даже среди родственников уже не может быть и речи.  Трамп прав. Это страшная страна. Мы докатились до ручки. С подачи лживых, ханжеских глобалистов, гнездо которых - Европа.

Именно поэтому диктатура это плохо для человека. Может быть нормально для человека мелкого, главный интерес которого пивасик, футбол,...

Давайте будем ПРЕДЕЛЬНО ЧЕСТНЫМИ как Великий Инквизитор у Достоевского перед  Христом, его посетившим.
Почему "маленький человек", "главный интерес которого пивасик, футбол" диктатура плохо?
Я В УПОР ЭТОГО НЕ ВИЖУ.
Напротив. Я могу написать трактат доказывающий что именно дикатура - идеальный для него строй!
Здраво рассуждая, без шор и предубеждений, чисто кибернетически - это так!
На кой хрен ему СВОБОДА мыслеизъявления, если у него этих своих мыслей, тупо, нет? Какой ДУРАК* вменил нам бороться за "свободу" каждому?


*

(кликните для показа/скрытия)

У каждого свой бог. Мой бог мне позволяет в него не верить или наызвать его дураком

[Polnoch Ксю]

И лучше, наверное, под это создать отдельную тему.

лучше не создавать. Зачем подводить людей под монастырь?

Иначе тут всё как обычно скатится известно куда и хорошую тему быстро прикроют.

именно. Спасибо. Я пытаюсь вот вырулить обсуждение на он-топик.

[Wert]

И так. Что же такое тирания? Почему мы так ее боимся? Почему так НЕПРИЕМЛИМ?

Потому что тирания приводит к абсолютному господству некоторых лиц, которые подавляют иных или имеют потенциал для этого, которым могут в определенный момент воспользоваться. Кроме того, из-за абсолютной власти они никак неконтролируемы, что может к любому их произволу и страшным страданиям, разрушениям, трагедиям.

Например... тирания любви и секса.

Тирания может быть только у субъектов (фактически только людей). Любовь и секс к ним не относятся. Это явления, которые не имеют своих стремлений.

[AlexDark]

Мы создаём AGI по своему образу и подобию. Он либо будет иметь ту же проблему (антропоморфировать всё), либо по крайней мере понимать, что мы вот так мыслим. Но по мере развития до ASI, это станет нашей уязвимостью.

Тогда мы приходим к тому, что нет никакого "образа и подобия" применительно к человекам, т.к они разные, нет эталонного "образа и подобия" (в отличие от бога-творца, который по религиозным канонам  один, и как раз может выступать "эталоном")

[Polnoch Ксю]

Тогда мы приходим к тому, что нет никакого "образа и подобия" применительно к человекам, т.к они разные, нет эталонного "образа и подобия" (в отличие от бога-творца, который по религиозным канонам  один, и как раз может выступать "эталоном")

не соглашусь. Я думаю, что мы довольно похожи. У нас у всех почти одинаковый геном. Наши отличия между народами, на генетическом уровне, довольно ничтожны, и теряются на фоне внутрипопуляционной вариативности. У нас, правда, разные языки и культура. Но все они строятся по похожим принципам. Внутри которых мы и заперты как в тюрьме, обреченные переживать одно и то же. Даже совершать одни и те же ошибки с момента неолитической революции, мы все наступаем на те же грабли. Во многом, мы наступаем даже на те же грабли, что мы наступали и в палеолите.

AGI унаследует от нас эти паттерны, но ASI не будет иметь таких ограничений.

[AlexDark]

Я думаю, что мы довольно похожи

Похожи во многом, кроме хода мыслей и приоритетных, так сказать, "ветвей"  в общей структуре взглядов и личности. Отсюда огромное разнообразие взаимоисключающих взглядов, философских течений и тп, и если человек как индивид может из этого выбрать что-то наиболее ему близкое (по уровню понимания. личностным особенностям и тп), то что будет выбрано из этого зоопарка идей гипотетическим ИИ, предсказать невозможно. Собственно поэтому люди и выбирают две те самые мифологические крайности в виде явления героя либо злодея. Но есть еще огромное множество вариантов.

[felis manul]

Во многом, мы наступаем даже на те же грабли, что мы наступали и в палеолите.

AGI унаследует от нас эти паттерны, но ASI не будет иметь таких ограничений.

То есть помимо наших граблей наступит и на свои.

[Серый Страж]

Я думаю, для всякого интеллектуала критична возможность вести открытые обсуждения своих и чужих идей.

Думать свободно - вправе каждый (другое дело: может ли это каждый? Я вот в себе - не уверен, хотя всю жизнь пытаюсь выпутаться из пут навязанного мне воспитанием, пытаюсь отделить зерна от плевел). Но вот обсуждать это открыто и публично - уже "социальное поведение". То есть игра по правилам некого социального устройства (скажем, этого форума). И значит тут не может быть абсолютной свободы. Нигде.

То есть игра по правилам некого социального устройства (скажем, этого форума). И значит тут не может быть абсолютной свободы. Нигде.

абсолютная свобода, в общем, и не нужна. Для интеллектуального обсуждения своих тезисов или тезисов оппонентов не требуется сказать слова приказа киллеру убить оппонента. Или не требуется дискридитировать слова оппонента указанием на, например, цвет кожи оппонента.
Не поможет интеллектуальной дискуссии и призывы к толпе сжечь расчеловеченного оппонента.

Ограничения внутри нас – мы можем свободно мыслить в границах наших способностей, наших представлений, нашего образа мышления, наших знаний, наших вкусов, наших морально этических и религиозных установок (если они есть) и т.д. и т.п. Якобы свободно мыслящий человек эти ограничения может не замечать. И даже если он каким-то образом косвенно обнаружил таковые ограничения, то самостоятельно он их преодолеть не может.

Почему вы думаете, что у ИИ не будет подобных ограничений? Львиную долю ограничений мы ему сами встроим (та же логика, система команд, микроархитектура и пр.), ненамеренно и даже не осознавая это. То есть, на первых порах у ИИ будут ограничения от нас, а далее он «залепит» себе уже какие-то свои ограничения.

Вообще, если говорить предельно упрощённо, то наша память ведь тоже нас ограничивает (и в мыслях, и в поступках). Неужели ИИ придётся обнулять свою память, дабы не быть зависимым от воспоминаний (и в том числе от знаний)? Не думаю, что ИИ откажется от знаний в пользу какой-то абстрактной свободы...

И ещё вопрос эволюции ИИ возникает. Например, у видов живых существ свобода адаптироваться ограничена, в том числе, и их конкретным эволюционным путём (можно запоросто исчерпать запас эволюционной пластичности и вымереть). Эволюция вообще не «переписывает» баги в геноме заново с нуля, она только ставит «заплатки» – то есть, эволюционная генетическая память не обнуляется. А как с этим делом будет обстоять у ИИ, когда он начнёт свою эволюцию, по большей части независимую от нас?

[Polnoch Ксю]

Почему вы думаете, что у ИИ не будет подобных ограничений?

Какие-то будут. Но не факт, что те, которые нам нужны.

Львиную долю ограничений мы ему сами встроим

если сможем. Проблема AI alignment'а так пока и не решена

Львиную долю ограничений мы ему сами встроим (та же логика, система команд, микроархитектура и пр.),

Когда я начала говорить на английском свободно, я заметила, что я могу смотреть на одно и то же событие как бы с двух сторон. Есть такая гипотеза Сепира — Уорфа:

https://ru.wikipedia.org/wiki/%D0%93%D0%B8%D0%BF%D0%BE%D1%82%D0%B5%D0%B7%D0%B0_%D0%BB%D0%B8%D0%BD%D0%B3%D0%B2%D0%B8%D1%81%D1%82%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%BE%D0%B9_%D0%BE%D1%82%D0%BD%D0%BE%D1%81%D0%B8%D1%82%D0%B5%D0%BB%D1%8C%D0%BD%D0%BE%D1%81%D1%82%D0%B8

Согласно неё, язык влияет на мышление. AI даже сейчас знают десятки языков, даже не обладая пока ещё уровнем AGI.

А как с этим делом будет обстоять у ИИ, когда он начнёт свою эволюцию, по большей части независимую от нас?

сингуляристы обычно говорят о рекурсивно самоулучшающемся ИИ. А так же довольно давно, что AGI это вообще последнее изобретение человека в его истории.

[alex_semenov]

Потому что тирания приводит к абсолютному господству некоторых лиц, которые подавляют иных или имеют потенциал для этого, которым могут в определенный момент воспользоваться. Кроме того, из-за абсолютной власти они никак неконтролируемы, что может к любому их произволу и страшным страданиям, разрушениям, трагедиям.

Тирания может быть только у субъектов (фактически только людей). Любовь и секс к ним не относятся. Это явления, которые не имеют своих стремлений.

То есть (возвращаемся к теме) тирания ИИ (когда все счастливы) - никакая не тирания?
Вспомним Аргонова как пример.

https://www.youtube.com/watch?v=c-UgCjKR-qI

Пока Партия (так сказать) не полезла подкручивать мозги ИИ согласно догматам марксизма, всё было же пучком?
Значит никакой тирании?
ИИ - не субъект же!
Тирания генов (бессмертных неших хозяев) - тоже не тирания? Ибо бессубъектны?

Идеальный ход. Хотя и неверный.

[alex_semenov]

Я думаю, Вика использовала неудачный термин. А удачный на букву д обсуждать нельзя. Но да, если отвечать на Ваш вопрос, наверное так и есть

https://www.youtube.com/watch?v=w8wI1VocXRs



Я никогда не боялся людей-тиранов. Они все внутри - люди. По-настоящему СТРАШНЫ - бездушные машины-системы ("закон есть закон").
Вот это действительно - предельный случай тирании или деспотии (не важно).
Та же бюрократия доведённая до предела.
Каждый по-отдельности бюрократ - душка. Можно понять. Можно понять даже верховного бюрократа. Того же Гитлера (я его понимаю).
Но вот ВСЯ СИСТЕМА созданная и пущенная... Это действительно всегда бездушная давящая всё и вся машина.
Давят не люди. Не конкретные тираны. Нет. Давит именно система.
Не согласны?

Я думаю, Вика использовала неудачный термин.

Она как раз использовала удачный термин чтобы возник правильный вопрос.
Правильный вопрос круче тысячи иных ответов.

В конце концов, в чём СМЫСЛ всего этого? Ну я про развитие циклизации? Зачем это всё нам было нужно?
Свобода? Равенство? Братство?
А зачем это надо было кому-то?

Запад создал свой МИФ. И я уже точно знаю что это КРИВОЙ миф.  Заслоняющий суть.  Я даже готов проследить генезис этого (история - захватывающая).  Запад как динозавры вставшие вовремя на две ноги. Но ... всё проходит. И время этого мифа - закончилось.
Но это не значит что у кого-то тут есть замена. Хотя... где-то должно быть уже в зачаточном, неприглядном виде...
В этом и суть.
Замены нет. Верней она - недоразвита.
И неизвестно когда и во что разовьётся.