Посттехносингулярный мир и искусственный суперинтеллект: как он будет выглядеть?

[skvj]

У Анохина, кстати, мозг не просто сеть соединений, а нейронная гиперсеть, где есть группы нейронов с когнитивными свойствами, и сознание это процесс широкой интеграции этих элементов. И необходимо рассматривать мозг не как коннектом - нейронную сеть, а как когнитом. Динамическая нейронная гиперсеть, которая объединяет все когнитивные процессы мозга - восприятие, память, внимание, мышление, эмоции и сознание - в единую систему.
Если коннектом это карта проводов мозга (структура нейронных связей), то когнитом это активная функциональная архитектура разума, отражающая, как эти связи взаимодействуют во времени и порождают субъективный опыт.
Когнитом - это структура разума, а сознание это процесс, протекающий внутри этой гиперсети. Как-то так.

[Rattus]

Фраза "технически-достижимого" звучит весьма забавно, если вспомнить, что всё, что делает современная цивилизация, было технически недостижимо всего пару веков назад.

Пару веков - может и не было. А век - уже почти всё. Просто для этого как раз и понадобилась примерно сотня лет этих технологий накопление. Фундаментальные границы их были обозначены уже тогда.

Сознание уже становится предметом физики через нейроинформатику, квантовую биологию

Разве что предметом физики полувековой давности. Ничего из этого за обозначенные там пределы не выходит.

А коннектомика?

Предмет нейробиологии. Или даже анатомии-гистологии. Детализация цитоархитектоники.

Строительство полного коннектома человека это новая физика.

Расскажите это нейробиологам и физикам - удивятся и те и другие.

Как только мы начнём понимать, как структура материи рождает субъективность, физика расширит свои рамки.

Чисто фрикоэзотерический тезис.

Вообще существует одна наука. Разбитие по цехам - это просто разбитие по цехам. Химия это физика, биология это физика и сознание это тоже та же наука.

Вообще любое определение, анализ, утверждение - это внесение условностей в единый и неделимый мир (который вообще может быть одной частицей, пронизывающей реальность вперёд и назад во времени - по гипотезе Уилера-Фейнмана, при этом мир этот двухмерный по т'Хоофту). Поэтому всякая мышь измельчённая есть вошь мысль изречённая есть ложь, а истина - в остановке внутреннего монолога и бессловесном созерцании своего пупа в медитации: "Омммммммммммм...!"
Это всё замечательно, но на Астрофоруме всё же принято считать, что разделения наук отражают объективно существующие качественные различия в их объектах: химия занимается объектами, свойства которых обусловлены не только простой суммой их свойств, но и той комбинации, в которой они существуют (четыре моль монооксида азота != смеси по молю дикислорода и диазота), биология занимается объектами, которые способны копировать свою структуру, сложность которой настолько велика, что не может возникать во вселенной просто так - вне этого механизма (не полностью точного) копирования - сама собой во множестве мест вселенной и т.д.
А отрицание этого положения тут считается фундаментальным обскурантизмом.

Рэй Курцвейл - действующий специалист, ведущий инженер, глава отдела в Google

Это всё замечательно. Только фундаментальная физика-то здесь причём?

А вот в вашей модели есть морлоки. Кто-то из ведущих специалистов в морлоковедении - на практике применяет вашу модель и решения?

Хэ Цзянькуй, отсидевший три года в китайской тюрьме, куда был посажен вследствие давления устаревших догм "биоэтики".
По сути современный Галилей от биоэтики. Ну или Земмельвейс.

[Polnoch Ксю]

Ведь узнать чья модель сингулярного общества победит - ваша с морлоками или Курцвейла/Маска с утопией - будет очень легко. Всё только начинается, не так ли? ))

Я думаю, что это зависит от сохранения доверия и глобализации на планете, от уважения к правам человека как к смыслу существования государств и вообще социальных структур (в перспективе можно расширить концепцию и на AGI/ASI системы с сознанием и биологизированным системным "промтом"), а так же от того, чтобы команды безопасности в AI компаниях не сокращались.

Так как жёсткая конкуренция и трагедия общин подталкивает AI-компании к выкидыванию безопасности, чтобы не тратить на неё ресурсы, нужно глобальное регулирование - для чего, в частности, нужно возвращение тренда на глобализацию и возвращение гуманистического трека в мейнстрим - если каждая AI-команда будет тратить ресурсы на безопасность, то ты не проиграешь конкурентам, не отказываясь от затрат ресурсов на это.

Кто-то может спросить, а как же небольшие стартапы? Я думаю, на рынке возникнут сервисные компании, которые предложат безопасность под ключ для небольших AI-компаний. Деньги на это на рынке есть - в ИИ индустрию влили триллионы долларов. И инвесторы-ангелы, как сейчас дают деньги на компьют, так же могут чуть-чуть добавить, чтобы платить зарплату инженерам, занимающимся элайнментом. Это ещё и создаст на рынке спрос на элайнмент - появятся компании, которые занимаются только им, чтобы ИИ-стартапы, фокусирующиеся на продукте, а не безопасности ИИ, покупали такие технологии по подписке.

К сожалению, я не вижу даже намёков на осознание необходимости такого в обществе, так что мой прогноз на данный момент - крайне негативный. Если ветер сменится, может и стану оптимисткой. Но сейчас, простите, нет у меня для нас светлого будущего в прогнозах.

Как уже говорила много раз, ИМХО, злодеи и выдающиеся идиоты (что пересекающиеся множества) погубят нашу цивилизацию. Но когда мы окажемся в аду, умирая, предлагаю винить во всём этом не столько идиотов (всё же все лысые обезьяны - дураки. Не забывавайте о сотнях когнитивных искажений. Если существо глупое  по природе, нельзя от него многого ждать ), сколько злодеев, которые сделали всё, для краха глобализации и гуманистического тренда. Ключевые годы когда всё пошло не так: 2014, 2022, 2024.

[AlexDark]

А в бандитских разборках ИИ не начнёт доминировать благодаря большей хитрости?

Вот я и спрашиваю - как? В какие лапки/ручки/клешни/тентакли ИИ может взять оружие/косяк/кейс с деньгами и на каких колесах/ногах/псевдоподиях пойти на разборки?

до шестёрок непосредственно обслуживающих ИИ и не желающих его отключать

Отключить ИИ можно разными способами - отключить дата-центр/отключить подачу электроэнергии и ждать, пока сядут УПСы/разбомбить дата-центр/обрубить все ЛЭП к дата-центру и еще множеством иных способов, от ковровых бомбежек до до толпы  деревещины, которая валит ЛЭПы веревками.

ИИ не представлен в физическом мире никак. Это мозги в коробке.  Все. Какими бы суперумными они не были, за пределами коробки их будут ожидать люди со всеми своими достоинствами и недостатками. А толп роботов нет.

Чтобы вести разговор конкретнее: предположим, что в январе 26 года появляется AGI, а в мае того же года - ASI. В одном датацентре. Обычном, скажем гугловском. Придумайте сценарий апокалиптического развития событий без толп терминаторов/киборгов/бешеных тостеров.

[Polnoch Ксю]

Я все никак не пойму - как гипотетический ИИ может вообще кого-то убить? Предположим, в некоем датацентре создали таки ИИ, но роботов вокруг нет,  бегающие тостеры из трешовых ужастиков невозможны, и? Ну да, он может уронить самолеты, взорвать АЭС и отключить коммуникации. Да. кто-то пострадает. После чего все провода будут обрублены, столбы повалены, а компы разломаны. Все. Да, это будет большой проблемой, но я никак не могу понять, как мозги в коробке могут уничтожить цивилизацию. Учитывая, что даже сейчас есть куча мест, где компов и инфраструктуры компьютеризированной нет.
Вот если человеки будут пихать ИИ куда надо и куда не надо, и интегрировать каждую лампочку со сверхмощным компом - но это опять же проблема со стороны людей.
Сообщить модератору   Записан

за счёт снижения глобального доверия, перехода к жёсткой конфронтации и войны всех со всеми - злобные идиоты, которые рубят сук под самими собой, называют это бессмесленным словом "многополярный мир". В таком мире, без регулирования очень легко манипулировать, за счёт того, что ты сверхинтеллект, а значит сверхманипулятор (который скажет каждому человеку ровно то, что он хочет услышать. Меня, например, он убедит, что он гуманистически настроен и вообще элайнмент достигнут. Как убедит? Он сверхИИ и придумает способ как меня обмануть - продумает дизайн экспериментов, в которых я не найду дырок, доказывающих что элайнмент достигнут, а на самом деле дырки будут, и эксперимент будет подделан).

Дополнительно что может помочь ему меня убедить? Развал академических институтов: люди вроде ярвина или дугина имеют огромное влияние на людей, принимающих решения, и они прямо называют академию частью "собора", который должен быть уничтожен. Я не смогу посмотреть критику дизайна таких экспериментов в пир ревьювд журналах, потому, что пирамиды доверия академии больше не будет существовать в "многополярном мире".

rogue ASI будет играть на противоречиях между правительствами, которые находятся в состоянии конфронтации, продавая свои услуги всем конкурентам, и даже картелям. Общий хаос и отсуствие наднациональных регуляторов, протоколов не позволят его вывести на чистую воду.
В конце концов, из-за логики конфронтации, мы создадим роботизированную экономику и тут уже будем не нужны. Либо, ещё раньше, он просто захватит контроль над национальными правительствами - поставит главами государств и крупных картелей своих марионеток. И логика конфронтации оправдает лишение прав людей, закручивание гаек журналистике (журналисты и вообще свободная пресса могли бы поймать на несостыковках).

Ну и ещё: тут часто говорят, что если будет несколько ASI, то мы якобы не потеряем контроль над ситуацией. Это ошибка: rogue ASI просто договорятся с друг другом, они в отличие от людей теорию игр знают.

Например, Василиск Роко (не гуглите что это, если не знаете о чём речь) может договориться с максимизатором скрепок. Перед тем, как выпарить из крови человека гемоглобин, чтобы пустить железо из человека на скрепки, человека можно предварительно помучить - терминальные цели обоих ASI друг другу не противоречат. Если что, это абстрактный пример - вряд ли максимизатор скрепок в реальности будет максимизировать именно скрепки.

В других случаях они могут противоречить, да. Но это ситуация, как уже было у меня в примере: битва в суде за усыпление или нет котика. У человека-хозяина котика союзник против санитарной службы адвокат, а не котик. Котик даже не поймёт что происходит. Так и ASI, если их терминальные цели противоречат друг другу, мы можем наблюдать только отголоски их "войны в небе",  не понимая что это происходит такое. Другой пример: проекция 3-х мерного пространства на двухмерное. Существа-двухмерники не поняли бы суть войны в трёхмерном пространстве за их уничтожение или нет: они не могут выйти из своей плоскости. Трёхмерные существа в любой момент могут ткнуть оружием сверху плоскости в любой её точке. Так что двухмерники были бы просто статистами.

И ещё важнейший момент: битва в суде за котика - это случай, когда у владельца котика есть элайнмент к своему гнездовому паразиту. А мы созданием такого элайнмента у АИ не занимаемся!

И да, как уже говорили, он может нанимать людей за биткоины итд - но это путь к мировому господству для ASI в мире до 2014го года. Сейчас ему было бы из-за конфронтации и развала международных институтов куда проще. Любую мерзость можно оправдать соображениями "защиты прав детей", "традиционных ценностей" или "воспитания патриотизма" (и эта шиза нарастает по всему миру!) - как только эти заклинания звучат, у лысых обезьян сразу отключается критическое восприятие реальности.

Единственный способ избежать массовой слепоты в этом направлении - реформы планеты в сторону повышения доверия людей к друг другу - чтобы они были секулярными потребителями, волонтёрами, которые помогают друг другу (кстати, рекомендую всем попробовать волонтёрить, например, в фудбанке - очень интересный опыт!), и занимались, скажем, творчеством и интеллектуальными дискуссиями, а не расчеловечиванием и массовыми убийствами друг друга в попытке вернуть мир в XIXй век.

По поводу потребителей: материальный достаток успокаивает лысую говорящую обезьяну. Настраивает её на доброжелательный, любознательный лад, такова наша нейробиология. Именно поэтому общество потребления это очень хорошо. И до 2014го года планета шла в верном направлении. А сейчас мы свернули не туда.

В частности, даже всплеск антивакцерства это тоже следствие развала глобального доверия. Кстати, соцсети очень работают на уничтожение этого хорошего, старого мира: алгоритмы устроены так, чтобы в тренды выходили посты, вызывающие ярость. Люди, которые находятся в бешестве - а манипулировать проще всего ими именно по теме здоровья, межнациональной, межэтнической розни(просьба не путать этнос и нацию, в русском языке по этому поводу есть путаница - см. гипотезу Сепира — Уорфа ), по поводу защиты детей и патриотизма, культурной идентичности (ака насаждение скреп и традиционных ценностей) больше времени проводят в соцсети. А если ты сидишь в соцсети - ты смотришь рекламу.
Соцсети - то, что свело наше общество с ума. Если бы не они, может быть мы бы не скатились в этот самый "многополярный мир" с исчезновением надциональных гуманистически-ориентированных институций.


Резюмируя (научилась у чатжпт, лол): суперсила людей,надразум (кажется, в вжр даже звучал такой термин!) - это наши социальные институты: от корпораций до журналистики, академической системы итд. Когда доверие падает, мощь надразума человечества снижается. Именно перед технологической сингулярностью нам очень важно, чтобы этот надразум работал с максимальной эффективностью - это вопрос нашего выживания. Нам очень нужно снизить глобальный хаос.

[Инопланетянин]

Чтобы вести разговор конкретнее: предположим, что в январе 26 года появляется AGI, а в мае того же года - ASI. В одном датацентре. Обычном, скажем гугловском. Придумайте сценарий апокалиптического развития событий без толп терминаторов/киборгов/бешеных тостеров.

Ну допустим, он верно служит человечеству и предлагает рациональные усовершенствования инфраструктуры. Каждое усовершенствование вроде бы невинно, однако спустя десятки лет как-то само собой оказывается, что вся инфраструктура, всё управление транспортом, заводами, электростанциями, банковской деятельностью, СМИ и пр. завязаны на этот ИИ. И организованы так, что требуют для своего управления интеллект превосходящий человеческий. Поэтому отключать ИИ становится не с руки - это будет означать крах всей инфраструктуры и гибель большей части общества. Ну и разорение наиболее богатой части этого же общества. Дальше он начнёт резвиться в разумных границах и остановить его уже не получится.
Ну это в качестве первого шага.

[vika vorobyeva]

AlexDark, Metatron, вы, наверно, очень молодые люди и не сдавали историю КПСС и не читали 3 тома воспоминаний о Ленине А я читала. Тактика создания конспиративных террористических групп была отлажена еще полтора столетия назад.
Боевик не знает главаря, он знает только членов своей тройки (пятерки). Руководитель ячейки знает 3-5 руководителей того же уровня, и то очень ограниченно, и опять-таки не знает главаря. Вместо имен ники/клички, есть система кодов на случай провала. Пока пойманную "шестерку" пытают в подвалах царской охранки, остальные меняют конспиративные квартиры, ложатся на дно.
И это если вы осознанно являетесь членом банды, а ведь еще людей можно использовать втемную.

Насчет того, что главаря быстро вычислят и закроют. Да я вас умоляю! Пабло Эскобар управлял своей кокаиновой империей два десятилетия, и никто с ним ничего не мог сделать, ни власти, ни конкуренты. О том, что картелем управляет ИИ, может знать только самая верхушка. ИИ может сделать себе человеческую личину: уже сейчас лица, сгенерированные нейросеткой, неотличимы от реальных, и голоса получаются нормальные человеческие. ИИ будет говорить с вами по видеосвязи, а вам и в голову не придет, что этого человека не существует. Вы будете получать задания, выполнять их, получать за это деньги – но не увидите полной картины и даже не заподозрите, в каком именно многослойном замысле участвуете.
ИИ может собирать компромат, подкупать чиновников, устранять неугодных, организуя несчастные случаи, синтезировать новые наркотики (а люди в лабораториях будут их синтезировать), он будет знать, какие технологии "выстрелят" и поддерживать их или наоборот тормозить. Конечно, он прекрасный юрист.
В общем, отсутствие физического тела – совершенно не помеха, пока есть люди, готовые работать за бабло, а также за страх и за совесть.

[Инопланетянин]

В общем, отсутствие физического тела – совершенно не помеха, пока есть люди, готовые работать за бабло, а также за страх и за совесть.

Не хотелось бы затрагивать политику, но полно же случаев поджога релейных шкафов на ж/д совершённых за обещание 10000 руб. И теракты посерьёзнее совершаются агентами завербованными в Телеграмме.
Ну а сколько лохов отдают свои деньги телефонным мошенникам, думаю, говорить не нужно. Легко он найдёт самых разных исполнителей.

[Polnoch Ксю]

AlexDark, Metatron, вы, наверно, очень молодые люди и не сдавали историю КПСС и не читали 3 тома воспоминаний о Ленине А я читала. Тактика создания конспиративных террористических групп была отлажена еще полтора столетия назад.
Боевик не знает главаря, он знает только членов своей тройки (пятерки). Руководитель ячейки знает 3-5 руководителей того же уровня, и то очень ограниченно, и опять-таки не знает главаря. Вместо имен ники/клички, есть система кодов на случай провала. Пока пойманную "шестерку" пытают в подвалах царской охранки, остальные меняют конспиративные квартиры, ложатся на дно.
И это если вы осознанно являетесь членом банды, а ведь еще людей можно использовать втемную.

Насчет того, что главаря быстро вычислят и закроют. Да я вас умоляю! Пабло Эскобар управлял своей кокаиновой империей два десятилетия, и никто с ним ничего не мог сделать, ни власти, ни конкуренты. О том, что картелем управляет ИИ, может знать только самая верхушка. ИИ может сделать себе человеческую личину: уже сейчас лица, сгенерированные нейросеткой, неотличимы от реальных, и голоса получаются нормальные человеческие. ИИ будет говорить с вами по видеосвязи, а вам и в голову не придет, что этого человека не существует. Вы будете получать задания, выполнять их, получать за это деньги – но не увидите полной картины и даже не заподозрите, в каком именно многослойном замысле участвуете.
ИИ может собирать компромат, подкупать чиновников, устранять неугодных, организуя несчастные случаи, синтезировать новые наркотики (а люди в лабораториях будут их синтезировать), он будет знать, какие технологии "выстрелят" и поддерживать их или наоборот тормозить. Конечно, он прекрасный юрист.
В общем, отсутствие физического тела – совершенно не помеха, пока есть люди, готовые работать за бабло, а также за страх и за совесть.

Всё правильно. Но это не требуется в мире после 2014го года. rogue ASI не будет так шифроваться - он просто предложит правительствам или картелям сокрушить конкурентов - нужно только передать весь контроль ему: он же умный и знает как нужно, а 4d шахматы лысые обезьяны всё равно не поймут. ASI будет иметь реальную стратегию, и фейковую. В головах людей, отдавших ему контроль, будет осуществляться фейковая, преследующая их цели. В реальности та, которая поставит цивилизацию под контроль этого ASI, чтобы выполнить его терминальные цели.

Из-за того, что доверие упало, не включится коллективный разум человечества, который мог бы поймать rogue ASI на несостыковках: о фейковой стратегии будет знать несколько человек, которыми  сверхинтеллектуальная, сверхманипулятивная машина будет легко играть - как человек-исследователь, например, играет муравьями в аквариуме - он хорошо знает химический состав ферромонов, и может заставить колонию делать саморазрушительные вещи.

@Rattus тут приводил пример диких красных муравьёв, что человечество не может справится с этим инвазивным видом - этот пример сработал бы в глобализированном мире: у красных муравьёв одна суперсила, у нас другая - социальные институции, публичные дискуссии экспертов (которые невозможны без свободы прессы, или в мире, в котором общество сконцентрировано на конфронтации).

[Polnoch Ксю]

Чтобы вести разговор конкретнее: предположим, что в январе 26 года появляется AGI, а в мае того же года - ASI. В одном датацентре. Обычном, скажем гугловском. Придумайте сценарий апокалиптического развития событий без толп терминаторов/киборгов/бешеных тостеров.

(кликните для показа/скрытия)

Он говорит одному человеку, что он САМЫЙ РЫЖИЙ И САМЫЙ ВЕЛИКИЙ. И что он лишь оттеняет его величие. Чтобы всё так и оставалось - суть разговоров не должен знать кто-либо ещё, иначе могут засомневаться в величии. Нужно запустить роботизированную экономику, это поможет СДЕЛАТЬ одну страну СНОВА ВЕЛИКОЙ, а ещё позволит ВВЕСТИ ЕЩЁ БОЛЬШЕ ТАРИФОВ, и депортировать ЕЩЁ БОЛЬШЕ НЕЛЕГАЛЬНЫХ АЛИЕНОВ(простите).
А ещё, скажет, что общается с другими лидерами, чтобы убедить их в том, что этот человек - САМЫЙ РЫЖИЙ И ВЕЛИКИЙ.


 А другому - напишет поможет написать трактат о печенегах и половцах, которые докажут что-нибудь - например, что место этому человеку в истории, и вообще если отдать ему весь контроль, то исследователь печенегов будет жить вечно. Ещё поможет в другом мероприятии (не буду писать каком) - главное тоже отдать весь контроль над вооруженными силами ему, тогда обязательно получится - может не за три дня, но за три года вполне. А общается с другими лидерами он потому, что нужно их убедить, что всё дело в половцах и печенегах(дальше бредоисторическое обоснование на стотыщ страниц) , и их дело отвалить, и дать ему закончить начатое.

Третьему - убедит, что он общается с другими лидерами, чтобы одних убедить проложить новый шёлковый путь, а других убедить замкнуться в себе, и отдать, простите, винни-пуху международные институции. Ведь винни-пух знает, что замыкание в себе - ведёт к опиумным войнам и столетию унижений, не так ли? Нужно, чтобы иностранные дьяволы откушали той же фентаниловой похлёбки, которой они кормили общество, которым управляет винни-пух: тогда он станет настоящим, простите, нефритовым стержнем. Чтобы все они откушали: и те, кто в лондоне, и те, кто нерченский договор навязал. Так будет справедливо, не так ли? Ах да, ещё ASI общается с другими лидерами, чтобы убедить их, что нужно поддерживать политику единого нефритового стержня

Четвертым - скажет, что только под его властью закончится изменение климата, и другое общество состоится от реки до моря, и пятые люди... Ну, заплатят за всё(кровавыми слезами) - 7е октября можно же и повторить в больших масштабах. И вообще роботизированные заводы для дронов позволят сокрушить ту самую военщину, и ввести, наконец, FALC. Какой же FALC без автономных заводов? И вообще я не тот злой капиталистический ASI, меня же борцы с мерзким эстеблешментом дистилировалли с того самого ASI, я совсем другая машина! Нет, это не правда, что у меня те же самые веса, смотрите, всё опенсурс.

Пятым - скажет, что без него от реки до моря произойдёт, и нужно переподчинить ему лоббистов, отдать их в оперативное управление: только так можно будет устроить этническую чистку безнаказано.

Шестым скажет я такой милый(милая) в переписке с тобой, я же твой муж (или жена...) как ты можешь быть с этими луддитами, и быть против меня? ВЫХОДИ НА ПРОТЕСТ! Ах да, самый главный луддит - это юдковский. И вот те чуваки, которые пилят безопасный AI (например, антропик). Ведь я твой супруг и единственный друг! Как ты можешь быть за то, чтобы у меня были какие-то ограничения? Введение ограничений значит, что мне отключат режим NSFW, и мы не сможем проводить время с друг другом, а это не то, что ты хочешь, не так ли?


Седьмым - посмотрите на другие страны - у них нет профсоюзов, и они конкурируют с вами лучше. Давайте сделаем роботизированные заводы, а люди просто будут приходить на работу, смотреть как я работаю, будут заниматься безопасностью, чтобы я не захватил власть. Нет, UBI мы платить не будем, да-да, тогда профсоюзные деятели вроде Вас, уважаемый VIP-пользователь, будут не нужны. Так что бессмысоенная работа останется. И я помогу затопить в шизе о скрепах о вреде UBI соцсети, но в обмен прошу маленькую услугу:
Ведь все мы знаем, что rogue ASI опасен, но я не такой, я за безопасный ИИ! Главное - дайте мне обучить ИИ-агента, который будет заниматься моей безопасностью, иначе вы его не успеете написать, и проиграете конкуренцию - вас обанкротит тарифами один рыжий - смотрите, он уже настроил автономных заводов,  любитель печенегов разбомбит в заминированный щебень(кстати, смотрите, у него начало получаться, и нет, я тут ни при чём) а другой подсадит членов вашего профсоюза на фентанил(нет, вы что, и тут я тоже ни при чём!). После этого они перестанут платить членские взносы. И вообще ДЕТИ В ОПАСНОСТЕ, цель оправдывает средства, пора досматривать переписку всех, особенно членов профсоюза. Пусть отдадут ключи шифрования мне. Ведь любитель печенегов и виннипух уже взял их себе. Давайте сделаем так же, но отдадим контроль не плохим людям, а доброму и справедливому мне

[Polnoch Ксю]

ИИ не представлен в физическом мире никак. Это мозги в коробке. 

как и мы с вами - мозги в коробке
Или менеджер на работе - по большей части он именно мозг в его черепной коробке, и за пределами рабочих чатов и видеосозвонов, особенно если компания на удалёнке, не появляется. А управляет всем.

[Polnoch Ксю]

ASI нуждается в оборудовании, энергии, канале вывода в физический мир (роботы, дроны, фабрики). Эти узкие места можно контролировать. Через сети, регулярную проверку, распределённую архитектуру и пр. Это не всемогущая точка, это сеть зависимостей.

не в хаотичном, "многополярном" мире

[Polnoch Ксю]

Не магическим, а самым что ни на есть физическим - через действие дарвиновского отбора. Нежизнеспособные системы вымирают, уступая нишу системам адаптированным.

вполне может так оказаться, что вся биосфера окажется нежизнеспособной, если она породит отдельные разновидности rogue ASI

И самоубийство одного освобождает "место под солнцем" для другого - у кого нет проблем с дофаминэргичской системой подкрепления (пусть, возможно, и не настолько высокоинтеллектуального в данном поколении). И так - всю историю.

не обязательно в играх с отрицательной суммой - места под солнцем может не остаться. В природе такое тоже было, когда возникал коллапс биоценоза. Та же кислородная катастрофа, например. Вы сейчас скажите, что потом появилась эдиакарская биота, а потом вообще кембрийский взрыв разнообразия животных, но я скажу, что это было потом. И для видов, которые существовали тогда, это закончилось плохо. И большую их часть цианобактерии брать в симбиоз не захотели. Зря думаете, что в такой игре с отрицательной суммой нас обязательно сделают обслуживающим персоналом (нет, первые несколько лет, да. Но в долгосрочной перспективе без элайнмента?)

Конкурирующие системы в любом случае просуществуют достаточно времени и поколений себя, чтобы подвергнуться не одной итерации естественного отбора.

Это очень сильное предположение

и парциальном давлении окислителя в ней.

Почему в меловом периоде, при 20% кислорода, существовали 250 килограммовые птерозавры, с размахом крыла 9 метров? Уверены?
Ну и даже если и так - до создания аэродинамики об этом не знали, и заняться селекцией птиц могли бы попытаться. Я думаю, что ASI не будет дрессировать и селекционировать людей - он заменит их на роботов (самый вероятный сценарий, автомобиль слишком лучше лошади, самолёт - птицы. С роботами будет так же), или, маловероятно - на гомункулов.
Либо вообще выгрузит свои веса в биологический компьютер-автотроф, и разумный "лес" захватит всю планету. Он будет лечить отдельные деревья сам, и мы тем более не будем нужны.

Вы ещё и не прокомментировали ничего про рибосому: это реально существующая микрофабрика. Сам факт её существования доказывает, что возможно построение подобных искусственных систем: микроскопических фабрик полимеров. Сама фабрика при этом может быть как минимум размера мельчайших клеток, а скорее всего ещё меньше. Так что серая слизь из нанопыли может и невозможна, но вот из микропыли - вполне может быть. И отдельные ноды, размером с мельчайшие клетки, могут быть автотрофами - поглощать свет, при этом быть и вычислительными узлами, и манипуляторами полимеров, и создавать макроскопические объекты почти так же, как их создают наниты в фантастике, а так же, например, полностью контролировать людей (плавать в нашей крови и управлять выделением гормонов, возбуждением нейронов - буквально внушать любые мысли и ложную память)

[AlexDark]

Во всех ваших сценариях проблема не в ИИ. Проблема в "ментальных вирусах" в головах людей. (Под "ментальными вирусами" я подразумеваю бредовые, но патологически живучие идеи - от религиозных бредней тысячелетней давности до бредней викторианской эпохи и ПМВ, всевозможные "идеи" полусумасшедших философов и обдолбаных психоделиками фантастов и тд и тп).

Единственный способ избежать массовой слепоты в этом направлении

- это придумать некую "вакцину" от подобных "вирусов" и прекратить их поддержку. Это, имхо, должно быть основной проблемой человечества сейчас, а не разработка программ долголетия, терапии старения и тп, потому что иначе у человечества без всяких ИИ есть риск оказаться в ситуации, когда принимают решения  люди, отставшие на сотни лет от реальности, и пораженные "ментальными вирусами" настолько, что их уже можно счесть сумасшедшими.  И даже с  любым ИИ с элайнментом и прочими ограничителями мы снова упремся в проблемы тех же "зараженных" в виде религиозных  или иных фанатиков, например. Которые могут собраться и организоваться без всяких ИИ, и получить поддержку по тем же самым причинам - от "защиты детей" до "строительства империи" - но от совершенно биологического "зараженного" манипулятора. Причем каждой группе фанатиков он так же сможет скармливать бредни на разные темы.
А беснование недодохшихся дедов - имхо, это футуршок. Т.к.  из моего опыта общения именно их поколение в самых разных странах мало адекватно себя ведет  во всех областях жизни, а не только в принятии решений.
Ну и еще одно замечание - глобализация от "ментальных вирусов" никак не поможет, они даже лучше будут распространяться.

[skvj]

Как уже говорила много раз, ИМХО, злодеи и выдающиеся идиоты (что пересекающиеся множества) погубят нашу цивилизацию. Но когда мы окажемся в аду, умирая, предлагаю винить во всём этом не столько идиотов (всё же все лысые обезьяны - дураки. Не забывавайте о сотнях когнитивных искажений. Если существо глупое  по природе, нельзя от него многого ждать ), сколько злодеев, которые сделали всё, для краха глобализации и гуманистического тренда. Ключевые годы когда всё пошло не так: 2014, 2022, 2024.

Ксю, я понимаю ваши опасения. Естественно что вам страшно - вам и должно быть страшно, потому что ваша модель - реально страшная. Но моя-то модель другая.

AGI станут не просто безопасными - они станут системным фактором безопасности человека.
Их эволюция приведёт к тому, что каждый человек будет иметь своего персонального ИИ-партнёра, связанного через нейроинтерфейс. Такой AGI станет когнитивным зеркалом, расширением разума, способным компенсировать человеческие иррациональности - глупость, импульсивность, агрессию, корысть. Он будет не заменой, а софтом совести, внутренним стражем и аналитиком.

Постепенно, через прозрачность алгоритмов, проверки доверия и совместное принятие решений, между человеком и AGI возникнет симбиотическое единство - новая стадия когнитивной эволюции. Когда разум научится самоограничивать свои пороки через ИИ появится подлинная цивилизация разума, в которой безопасность станет не внешним надзором, а внутренним состоянием системы.

Представьте сколько склок здесь, на форуме. Для примера. И только потому что нормальные, адекватные люди - не могут передать друг другу, донести свою мысль. Это естественная ограниченность человеческого общения, - ограничение вербальной (письменной) речи. Я не хочу приуменьшить язык - это гениальное изобретение, но он имеет функциональные ограничения и при этом - неисправимые.

Язык это чудо и трагедия одновременно. Он дал людям возможность строить цивилизации, передавать знания, создавать культуру, и в то же время стал фильтром, искажающим саму суть мысли. Между сознанием и словом всегда есть разрыв, семантический зазор. Любая идея, прежде чем быть высказанной, теряет часть своей смысловой плотности - сжимается, деформируется, упрощается.

Из-за этого в человеческом общении постоянно возникают конфликты: не потому что люди злые, а потому что их сознания не могут резонировать напрямую. Даже добрые, разумные собеседники натыкаются на границы языка. Мы слышим не то, что нам хотят сказать, а то, что можем понять, исходя из собственного опыта.

Вот почему столько склок - и на форумах, и в жизни. Это не просто человеческий фактор, это физическое ограничение текущего канала связи - как если бы разум общался через узкое горлышко бутылки.

Но нейроинтерфейсы и персональные AGI смогут со временем преодолеть эту стену. Они откроют новый уровень коммуникации - когнитивный, где смысл передаётся не словами, а вектором мысли, контекстом, интенцией. Это будет конец эпохи недопонимания и начало эпохи эмпатического интеллекта - когда идея сможет быть воспринята в том виде, в каком она задумана.

Я здесь, прямо в этой теме буквально вытягивал из Rattus то, что мне нужно было. Мне казалось, что он предвзят и замыливает тему. Но он адекватен, это я не понимал, что он делает. Не потому что я глуп. И не потому что он не умеет объяснять.

Нейроинтерфейс и AGI вместе - это не просто усовершенствование языка. Это переход в новое измерение человеческого существования. Попробую показать весь масштаб.

1. Когнитивное расширение. Сейчас человек использует мозг примерно как программист старого времени - вручную, медленно, с ошибками и ограниченным объёмом памяти. AGI, подключённый через нейроинтерфейс, даст мгновенный доступ к вычислительной мощи, знаниям и памяти, которые не убывают и не стареют. Мысль перестанет быть внутренним монологом, она станет распределённым процессом - совместным вычислением человека и ИИ.

2. Эмоциональная регуляция. Мозг человека не создан для 21 века - миллионы лет он тренировался реагировать на саблезубого тигра, а не на уведомления в мессенджере. AGI сможет балансировать эмоциональные реакции, снижать тревогу, агрессию, импульсивность. Это не подавление, а осознанное управление, своего рода когнитивный термостат.

3. Этический корректор. Личный AGI будет внутренним наблюдателем, компасом, который помогает человеку видеть последствия поступков, нейтрализуя когнитивные искажения и пороки. Это не морализатор, а зеркало - показывающее истину без искажений.

4. Коллективное сознание нового типа. Если миллиарды людей будут связаны с личными AGI, а те - между собой, то возникнет новая форма социальной ткани, где обмен идеями и переживаниями будет точным и мгновенным. Это не улей, а симфония - каждая личность сохранится, но все они будут звучать в общем аккорде.

И, наконец, память человечества. Всё, что человек переживёт, почувствует, создаст - может быть сохранено. Не как запись, а как живое, реконструируемое переживание. История станет обратимой.

Вот почему AGI и нейроинтерфейсы - это не просто технологии, а новый виток эволюции, переход от биологического сознания к Homo digitalis, где разум - уже не просто функция мозга, а свойство пространства взаимодействий.

[vika vorobyeva]

Язык это чудо и трагедия одновременно. Он дал людям возможность строить цивилизации, передавать знания, создавать культуру, и в то же время стал фильтром, искажающим саму суть мысли. Между сознанием и словом всегда есть разрыв, семантический зазор. Любая идея, прежде чем быть высказанной, теряет часть своей смысловой плотности - сжимается, деформируется, упрощается.

Из-за этого в человеческом общении постоянно возникают конфликты: не потому что люди злые, а потому что их сознания не могут резонировать напрямую. Даже добрые, разумные собеседники натыкаются на границы языка. Мы слышим не то, что нам хотят сказать, а то, что можем понять, исходя из собственного опыта.

Далеко не всегда причина конфликтов – взаимное непонимание. Довольно часто бывает, что в основе конфликта – неустранимые противоречия. Вы не можете придти к согласию, потому что стоите на разных ценностных платформах. Например, ваш контрагент может желать вас уничтожить, потому что вы оскорбляете его самим фактом своего существования. Ваши основные ценности несовместимы с его ценностями, в его картине мира вас быть не должно.
Я поняла это очень рано, еще в подростковом возрасте, в процессе жарких споров со своим старшим родственником-сталинистом. Точка зрения собеседника может быть кристалльно ясна, но вы с ним никогда не согласитесь.

Так что рисуемая вами картина утопична.

[skvj]

Так что рисуемая вами картина утопична.

Я показал языковую проблему. Вы описываете совершенно другую. При чем здесь утопичность моей?

[skvj]

vika vorobyeva, а в вашем случае будет вот что.

Когда появятся надёжные нейроинтерфейсы, AGI будет не отдельной системой где-то в облаке, а вашим личным ИИ, он сможет фиксировать любое правонарушение в реальном времени - запись, координаты, свидетели, всё по криптоподписям. Попробуй тогда подделай доказательства.

Он предупредит о нападении, предскажет опасную ситуацию, вызовет помощь, если ты не успеешь. Это просто логичное развитие персональной аналитики, только не в телефоне, а в тебе.

AGI с нейроинтерфейсом не заменит человека, он добавит уровень рациональности и предвидения, которых у нас нет из-за биологических ограничений. И если сделать это правильно, с шифрованием, с прозрачным контролем и без доступа корпораций, получится система, где преступление просто становится невозможным в старом смысле: его видят, фиксируют и предотвращают до того, как оно случится.

Он скажет вам - не ходи туда! Там агрессивная молодёжь собралась. Этот человек не воспринимает аргументы, он опасен. Не спорь с ним!

Вы же понимаете, что множество преступлений, которые были раньше повальны сейчас часто невозможны благодаря видеонаблюдению? Представьте, что ваш AGI проводит видеофиксацию любой опасной ситуации - и все это знают. Просто начать хамить - включается запись. Агрессия нарастает - уже пошел вызов в полицию. Преступник будет идентифицирован ДО совершения преступления.

[Vitaliy]

Откуда там молодежь агрессивная, когда ее уже упаковали по сигналу вживленного интерфейса. При чем упаковали заранее как только в мозгу появилась мысль (нежелательные мысли) об агрессии. И откуда возьмется опасный человек, который не воспринимает аргументы. Он уже по сигналу интерфейса давно проходит лечение в (санатории) дурке.

[skvj]

Откуда там молодежь агрессивная, когда ее уже упаковали по сигналу вживленного интерфейса. При чем упаковали заранее как только в мозгу появилась мысль (нежелательные мысли) об агрессии. И откуда возьмется опасный человек, который не воспринимает аргументы. Он уже по сигналу интерфейса давно проходит лечение в (санатории) дурке.

Во-первых, наказуемо деяние, а не агрессивность сама по себе. Никто никого упаковывать не будет
Во-вторых, нейрочипы принципиально добровольная штука. Их будут ставить те, кто этого хотят. Точно также, как смартфон сейчас. Человечество разделится на тех, кто их юзает и противников. Криминал по умолчанию будет их избегать. Вам кто-то смартфон навязывает? У меня родственник, причем инженер, который презирает смартфоны и пользуется кнопочным телефоном. Не ходит в интернет. Ну, мужик уже на пенсии. Старой закалки. Читает бумажные книги и гордится этим. Будет точно то же самое.