Посттехносингулярный мир и искусственный суперинтеллект: как он будет выглядеть?

[BlackMokona]

Добро из утилитаристских соображений в большинстве случаев, конечно.

Но ведь случится культурный геноцид, будет разрушено единство племени, его Культура будет потеряна навсегда. Оставшись только в музеях. Племя будет рассеяно по стране, лишаясь культурной идентичности.

Ну и другой пример, только из реального мира. Вот сейчас одна страна строит гига ГЭС, которая выведет эту страну из нищеты. Спасая миллионы людей от голода и болезней. Однако активация этой ГЭС отправит в адский кризис Египет. Поэтому Египет готовится к войне. Успех одной страны это катастрофа для другой

[Polnoch Ксю]

Но ведь случится культурный геноцид, будет разрушено единство племени

Нет же, я же говорила, что нужно действовать минимально инвазивными методами, находить такие. Я думаю, что доход от ГЭС позволит найти win-win исход, который и культуру племени сохранит, даже поможет ей, и улучшит жизнь всех остальных. Нужно играть в игры с положительной суммой, и выбирать win-win исходы.

Ну и другой пример, только из реального мира. Вот сейчас одна страна строит гига ГЭС, которая выведет эту страну из нищеты. Спасая миллионы людей от голода и болезней. Однако активация этой ГЭС отправит в адский кризис Египет. Поэтому Египет готовится к войне. Успех одной страны это катастрофа для другой

Вот так нельзя действовать. Нужно стремиться к win-win решениям, а не к win-lose или lose-lose

[BlackMokona]

Вот так нельзя действовать. Нужно стремиться к win-win решениям, а не к win-lose или lose-lose

Тем самым ваша мораль win-win решения, а win-lise and lose-lose. Это зло.
Тем самым рыночная конкуренция получается у вас зло? Ведь это win-lose решения? И правосудие? Это тоже win-lose?
Или тут ещё добавляется фактор числа выигравших и проигравших?

[Polnoch Ксю]

Тем самым рыночная конкуренция получается у вас зло?

Нет, если нельзя фатально проиграть(оказаться бомжом, умереть, итд). Я вообще за UBI в post-AGI эру, чтобы никто не мог оказаться в той ситуации, когда не сможет восстановиться. Нужны карманы эффективности, вот как раз свободный рынок. И применять генетические алгоритмы против сервисов, товаров, или рабочих коллективов людей как раз разумно - общество в целом выигрывает от экономической и политической конкуренции, это win-win-много-раз-win-lose. Если поcледний в ряду lose незначительный, утилитаризм нам говорит, что это правильный выбор.

И правосудие? Это тоже win-lose?

Правосудие как раз про наказание за попытку сыграть в win-lose

Тем самым ваша мораль win-win решения, а win-lise and lose-lose.

Чрезмерное упрощение, искажающее мою позицию. Как если картинку в 4k разрешении пожали в 32x32 пикселя, и потом сделали выводы на основе того, что получилось...

[crimchik]

А язык Эзопа тоже уже запретили?

Давайте вот так попробуем. Нужно удалить пробелы и символы новой строки
aHR0cHM6Ly9ydS53aWtpcGVkaWEub3JnL3dpa2kvJUQwJUEwJ UQwJUIwJUQwJUI0JUQwJUI4JUQw
JUJBJUQwJUIwJUQwJUJCJUQxJThDJUQwJUJEJUQxJThCJUQwJ UI5XyVEMSU4NiVEMCVCNSVEMCVC
RCVEMSU4MiVEMSU4MCVEMCVCOCVEMCVCNyVEMCVCQwo=

Модераторам: извините, если так нельзя. Если нельзя, я больше не буду. Предупреждения понимаю, и правила стараюсь соблюдать.

Почему же нельзя - даже интересно оказалось ! пока gpt не дал подсказку, я не мог сообразить, что тут зашифровано

[BlackMokona]

Правосудие как раз про наказание за попытку сыграть в win-lose

Значит у вас максимально утилитарные весы выгоды, что больше выгоды чем потери то вин, что больше потерь то зло.
Теперь мы приходит к главному вопросу, связанному что выгода это существо субьективное

[Polnoch Ксю]

Теперь мы приходит к главному вопросу, связанному что выгода это существо субьективное

Субъективна верхняя часть пирамиды Маслоу. Нижняя вполне себе объективна:



Теперь по верхней части: нужно стремиться находить win-win решения и с учётом её. Например, вот я предложила подослать проповедника к племени из примера с ГЭС, и дать бабки - как лично членам племени, так и самому племени. Можно и контракты на рекламу, и вообще что им там нужно. Можно подключить специалистов из учёных, занимающихся этим племенем.

Культурное разнообразие это ценность, как и генетическое разнообразие в популяциях(почему так отвечает эволюционная биология - адаптивность у видов с большим набором разнообразия выше и меньше риски вымирания).  Я бы не хотела, чтобы в мире, например, исчезла восточно-европейская еда. Это потребность из верхнего уровня пирамиды Маслоу. Но всё же потребность. А так как это важная потребность для целых народов, эта потребность имеет довольно большой вес с моей точки зрения.

[Polnoch Ксю]

(кликните для показа/скрытия)

Почему же нельзя - даже интересно оказалось ! пока gpt не дал подсказку, я не мог сообразить, что тут зашифровано

Интересно. После Вашего комментария проверила ChatGPT o3-mini и GPT o3-mini-high, они не справились, но были на верном пути. Их сбили галлюцинации. А вот Claude-4.7 extended угадал правильно

[BlackMokona]

Субъективна верхняя часть пирамиды Маслоу

Объективна только самое дно основания. Но даже внутри него огромное количество субъективных факторов. Например вкус еды

[Polnoch Ксю]

Объективна только самое дно основания. Но даже внутри него огромное количество субъективных факторов. Например вкус еды

Объективна потребность в таких субъективных факторах

[BlackMokona]

Объективна потребность в таких субъективных факторах

Майкл готов есть еду менее питательную и полезную, но более вкусную.
А Френк готов кушать менее вкусную но более питательную и полезную.
Каждый мыслит по своему. В зависимости от того кто из них возглавит ту же продовольственную организацию ООН. То он будет принимать разные решения. Один будет сосредоточен на более качественных продуктов даже для меньшего числа людей, а другой будет покупать третьесортный рис но хватит на всех.

[Polnoch Ксю]

(кликните для показа/скрытия)

Майкл готов есть еду менее питательную и полезную, но более вкусную.
А Френк готов кушать менее вкусную но более питательную и полезную.
Каждый мыслит по своему.

разумеется, нужно следовать советам Health Proffesionals. И рекламировать здоровое питание, даже если оно невкусное. А ещё, нужно инвестировать в R&D, чтобы было и вкусно и полезно в будущем. Лучше быть здоровым и счастливым, чем больным и несчастным.

. В зависимости от того кто из них возглавит ту же продовольственную организацию ООН

Я думаю, тут будет другая оптимизация - после разгрома USAID они будут оптимизировать по принципу больше калорий на единицу евро или юаня, чтобы больше людей выжило - опять же по пирамиде, жизнь важнее всего.

Мне кажется, это оффтоп Можно сделать другую тему, например, про современные этики, такие как утилитаризм и рациональный альтруизм, теорию игр, и про классические этики вроде светского гуманизма.

Предлагаю вернуться к ASI

[AlexDark]

Субъективна верхняя часть пирамиды Маслоу. Нижняя вполне себе объективна

Объективно только самое дно, и все. Все остальное - чистейший субъективизм.

Например, трансгуманисты - прошу отличать их от технофашистов: Харари, Курцвейл, Аргонов

Аргонов с его утопичным миром обдолбанных совков - гуманист?

Но мы его пробудили, и, к сожалению, сейчас самое неуместное время в истории человевечества, чтобы доверить управление нами союзу идиотов-мракобесов с хитрыми и ультраэгоистичными технофашистами.

Это как раз пример не "тайной ложи", а "явной лажи" - старики-анахронисты у власти, которые ничего не понимают и ведут себя так, как принято было вести 70-80 лет назад, считая это нормальным.  В любую эпоху последних 2-3 веков такая ситуация привела бы к реакции. Только вот "Да, человек смертен, но это было бы ещё полбеды. Плохо то, что он иногда внезапно смертен, вот в чём фокус!", в данном случае это скорее не "плохо", а "хорошо".

[Бобр-99]

Предлагаю вернуться к ASI

Про него ясно одно - будет сделано наихудшим образом.

[Polnoch Ксю]

(кликните для показа/скрытия)

Аргонов с его утопичным миром обдолбанных совков - гуманист?

да

обдолбанных

На ВЖР эту тему нельзя свободно обсуждать. И тут далеко не всё так однозначно, как Вы решили, ИМХО.
На всякий случай: я не употребляю даже такие наркотики, как спирт, марихуана и никотин. В любой форме: ароматические сигареты ли, вино ли, или электронные сигареты, или наоборот, шоколад с марихуаной - не люблю такое. Мне нравится трезвый интеллект, а удовольствие получаю и раслабляюсь с помощью любовных романов, мелодрам, или говнокнижек на вечер про попаданок в магическую академию, когда нет энергии читать качественную научную фантастику или научпоп

совков

Если Вы про 2032, это довольно антисоветское произведение. У него есть эстетика, но это культурная штука. Я верю в то, что законы эволюционной биологии, а точнее их аналоги применимы и к отбору мемов. А значит, культурное разнообразие полезно. Вот у него в 2032 сохранена просто вот эта совковая эстетика, как в таких играх как Atomic Heart - муж в неё играл, ему понравилось.
Я не заметила у Аргонова ценностей коммунистов. Он утилитарист.

Я считаю, что атаки на эстетику - это очень плохая традиция, которую начали левые радикалы. Но правые радикалы тоже её перенимают у левых радикалов время от времени. Если эстетика кому-то нравится, пусть будет

[Rattus]

Это утверждение не соотвествует реальности. Мы живём в искусственной среде, возникшей во время неолитической революции - мы перестроили планету под себя, когда начали производство еды.
Во время охотников собирателей, на планете жило несколько миллионов человек. Под 10 млрд живут только из-за инфраструктуры.

Каким образом ВАш частноколичественный аргумент опроверг исходное общекачественное утверждение?

Очевидно, что Rogue ASI (которому не сделали AI Aligment на гуманистические ценности), перестроит инфраструктуру техносферы под себя из эгоистичных соображений.

Как это всегда происходило, происходит и будет происходить в эволюционной истории. There is no exceptions.

сли мы даже не требуем от бизнесов, которые занимаются AI, заниматься Aligment'ом. А наоборот, уничтожаем государственные агенства, которые за это отвечают.

То это прекрасный пример отсутствия какого-либо идеологического прессинга на научно-техническую и опытно-конструкторскую деятельность, двигающую Прогресс вопреки всяческим неолуддитам. Жаль, что так происходит далеко не во всех сферах научно-технического творчества.

Если почитать, например, одного из главных злодеев - Ярвина (к сожалению, более интеллектуального злодея, чем Дугин, а потому ещё более смертельно опасного для человечества)

Первый раз о нём слышу, но если Вы советуете - почитаем непременно - вдруг и правда он излагает более разумные тезисы чем Дугин. Или даже Вы.

Поэтому я и очертила рамки темы, не как тема человеки + AGI, а как ситуацию, когда возникает ASI - мыслящая машина (или машины) непредставимого для нас интеллекта.

Ещё раз - "непредставимого" - сразу выводит тему за рамки п.3.1.д Правил Астрофорума. "Несопоставимого по уровню способностей" - пожалуйста, сколько угодно, а с "непредставимым" априорно бессодержательные разговоры ведите в где-нибудь в "Клубе..."

Расшифруйте аббревиатуры.

Второе предложение начального сообщения темы прочитать несудьба?

AI Aligment

- дрессировка/воспитание искусственного интеллекта.

А что потом?

В реальности - достаточно быстрое саморазрушение из-за незамукнутости цикла самовоспроизводства без массы относительно ресурсно-дешёвых и высокоуниверсальных самовоспроизводящихся живых рабочих, обслуживающих инфраструктуру высокотехнологической цивилизации с ИИ во главе.

До саморазвития наноботов ещё далеко. Как и до самих наноботов.

Примерно до бесконечности далеко.

Да и вообще ДНК imho круче других самых мелких технологий. Те могут только дополнить.

Не только IMHO. Когда мы обращаемся к молекулярному уровню, то вполне уместными становятся аналогии и закономерности, твёрдо установленные химией и материаловедением - собственно по той же, например, твёрдости: алмаз - самое твёрдое вещество из в принципе возможных. И получать его искусственно для технических целей давно научились. Но: почему-то он далеко не везде оказывается применим как наилучший абразив - по той простой причине, что при нагревании довольно легко или окисляется (сгорает), обращается обратно в мягкий графит и/или растворяется в обрабатываемом металле. И поэтому на практике для той же металлобработки широко применяется немного менее твёрдый, но гораздо более стойкий по совокупности свойств и более дешёвый корунд (кристаллический оксид алюминия).
С ДНК как долговременным высокоплотным носителем информации дело обстоит очень похожим образом. Именно поэтому исследовательское подразделение Microsoft (не самые глупые и некомпетентные специалисты в мире, полагаю) несколько лет тому назад обратили на данный носитель самое пристальное внимание.

Возможно, Вас смущают мои искренние эмоции возмущения - я ведь в тайне надеялась оказаться слишком пессимисткой.

Возможно только как модератора темы в одном из основных разделов Астрофорума, где сохраняется примат содержательного обсуждения над обменом эмоциями. Как несуществующего кащенита - наобормот веселят. ;~]

Ещё я последовательно писала, что иллюзия замедления прогресса - это коллективная иллюзия.

Жаль только, что не очень-то доказательно и неубедительно. Данные AlexAV куда более адекватно описывали рассматриваемую область, чем какое-нибудь просто число регистрируемых патентов (прошу, кстати, участников обратить внимание на одно из дополнений к Правилам Раздела по этому поводу - кто ещё не) или статей коллективов К.У.Кушки и П.Е.Туха, которые цитируются только ими самими.

В итоге сейчас скорее получается так, что помещать технологическому прогрессу неореакционеры/неофашисты не успеют, они его наоборот оседлают.

А чуть менее века назад было не так? Но конечно - с созданием ООН все резко коллективно помудрели и не допустят и т.п. Главное - в это верить. Ага.

Никаких разумных оснований для взлёта неомальтузианских и реакционных настроений не было.

Ага - ну ваалще никаких. Рафик ваапще неуиноуен!

Они все - продукт когнитивного искажения, когда знаний было произведено слишком много, и мы не понимаем что вообще такое происходит, особенно за пределами нашей зоны компетенции. И нам проще поверить, что НТР уже фейк, имитация, что машина познания уже лишь имитирует свою деятельность.

Когда эффект от произведённых "знаний" типа набора гипотез квантовой гравитации, которые даже не предполагают возможности реальной наблюдательно-экпериментальной проверки или множества работ по терапии онкологических заболеваний или изучению болезни Альцгеймера, отзываемых из-за грубых фальсификаций, не очень-то просматривается на практике вот уже несколько десятилетий к ряду - это более чем закономерное следствие.
Ксю, не спешите возражать, а прежде почитайте материалы последнего 5-10-15-летия на тему:
Keywords: Replication crisis, Retraction Watch, Journal(s) of Negative Results, Sabine Hossenfelder...

Технологическая сингулярность - самый страшный экзамен в истории человечества и биологической жизни.

- А теперь, ребята, найдите в этом тезисе два отличия от эсхатологических воззрений ряда авраамических и иных подобных религиозных сект. Вижу руку с переднего ряда - пожалуйста, Настенька!
- Отличие в словах "Технологическая сингулярность" - если их заменить на "Страшный Суд" - отличий не будет!
- Молодец, Настенька,- всё верно! 

Нам нужно предельно компетентное руководство человечеством, основанное на экспертности и разделяющее гуманистическую идеалогию.

Нам нужно предельно компетентное руководство малокомпетентным человечеством, не разделяющее никаких идеологий и следующее исключительно наиболее эволюционно-стабильной стратегии. 8/64! Byte Power!

Есть даже шанс успеть пожить в семёновских человейниках в аду, пока rogue ASI не придумает что-нибудь более эффективное, чем мы.

Нет - такого шанса у нынеживущих и тем более ныне тут пишущих нет. И даже у их детей - не факт ещё - особенно на периферии Ойкумены. Ибо жизнь человеческая не столетиями далеко исчисляется кагбе. И довольно долго ещё таковой останется.

не будет никакого трансгуманизма, будет технофашизм. Но скорее всего не очень долго. Его сменит что-то ещё худшее

Это и называется ПОСТгуманизм - в этом его фундаментальное отличие от этихВАших "трансов". Что в.п.с. отмечал ещё более пятилетки тому назад.

Зачем это paperclip maximazer'у?

Затем, что скрепки ВНЕЗАПНО делаются не из воздуха и даже не из воды.

например, extinction event

Это к бабке не ходи - он в принципе уже идёт - из-за человеков в отношении многих представителей дикой фауны и некоторой флоры. То, что он ждёт сам нативный вид человеков - следует ну хотя бы из Doomsday Argument.

от paperclip maximazer'а

Да дался ВАм этот "paperclip maximazer"! "Дедушка ВАш paperclip maximazer"?

Написать более соответствующее наиболее реальным и общим запросам "Country/Company X greatness maximizer" настолько сильно коробит ВАши идеологические чувства и тщетное желание избежать открытия их политизации, что Вы продолжаете пользоваться этой не имеющей никакого отношения к реальности фантастической "моделью" почти четвертьвековой давности?

или ад в семёновских человейниках, или вообще какой-нибудь I have no mouth, but I must scream.

Ну да - приводить аналогии из фэнтези с терминами чисто религиозными - это аргументация, безусловно "адекватная" научно-корректному обсуждению...

Немного мучительно быть осведомлённой индюшкой, понимающей, что из неё сделают суп.

Добро пожаловать в республиканскую партию реальный мир, Нео! Красные таблетки нынче без отходняка не работают...

прошу отличать их от технофашистов:... Аргонов

Это тот, который допускает принудительное осчастливливание постсингулярной - трансцивилизацией, цивилизаций, ещё не достигших "просветления"? Это да - это ниразу не технофашизм, безусловно.

А что, по вашему, все живут только в повесточках с приставкой -ультра?

В фанатично-религиозном чёрно-белом мировосприятии - именно так и происходит.

Да. Нас радикализировали социальные сети.

Ага - старое доброе "не мы такие - жизнь такая!", "С волками жить - по волчьи выть!" (ВАш оппонент Инопленетянин этой максимы, кстати, придерживается точно также, только под флагом другого цвета).
Если всех вокруг мнишь "идиётами" - то самому стать (вернее - оставаться) идиётом - морально вполне оказывается оправданным, да, Ксю?

Добро и зло объективно существующие свойства нашего мира. Они следствие из теории игр, а именно из стратегии ястреба в игре голуби vs ястребы (в том числе речь о голубях, которые дают сдачу) и о сценарии предательства в дилемме заключенного. Из этого выводится гуманистические ценности.

Из этого выводится только понимание о тактических и стратегических целях. "Гуманистические ценности" совпадают со стратегическими только тогда, когда резко возрастает ценность квалифицированного труда - тогда и только тогда образование, медицина и прочие соцгарантии оказываются экономически окупаемы в долговременной перспективе. В случаях, когда какие-либо природные ресурсы (земля, ископаемые и т.п.) оказываются по итогу ценнее "народных масс", их потребляющих - весь гуманизм оказывается сметён "как с белых яблонь дым" в исторически краткий срок. До следующей демографической стабилизации.

Я не рассчитываю изменить Вашу точку зрения, потому, что Вы религиозны.

А Вы, рассказывающие тут про варианты ада и эсхатологическое значение текущего момента - ну ниразу не религиозны, ага.

[AlexDark]

(кликните для показа/скрытия)

Если Вы про 2032, это довольно антисоветское произведение

С 2032 я согласен, но речь не о произведениях (хотя его "2084" с его тотальной эмпатической политкорректностью - та еще дичь), а именно о высказываниях самого Аргонова. Я одно (весьма короткое) время сидел в его чатике (году в 2016 или около того), там прямым текстом им и его сторонниками декларировалась позиция  "сомы грамм-и нету драм", а идеальным называлось устройство общества, в котором люди контролируются (не помню уж чем, то ли правительством вместе с ИИ, то ли чистым ИИ), а для устранения фрустрации, недовольных и несогласных  и предлагалась та самая сома, которая всех делает счастливыми, и в итоге все "довольны". Имхо, подобное "насильственное осчастливливание" с гуманизмом вяжется мало. Плюс уровень ксенофобии в том чатике был каким-то запредельным - меня, например, выперли за "неправильную" программу-клиент для этого самого чатика.

[Olweg]

Вот Вы когда в chatGPT пишете промт, он Вам выдает в его итоге программу, или документ или что-то ещё. А потом молчит. Вот так и в случае с paperclip maximazer'ом.

Ничто не мешает вывести цепочку его рассуждений, как в  DeepSeek r1.

[Mercury127]

Нет же, я же говорила, что нужно действовать минимально инвазивными методами, находить такие. Я думаю, что доход от ГЭС позволит найти win-win исход, который и культуру племени сохранит, даже поможет ей, и улучшит жизнь всех остальных. Нужно играть в игры с положительной суммой, и выбирать win-win исходы.

у вас откровенно инфантильно-религиозное мышление, идентичное критикуемой вами стороне.

Впрочем, это сообщение написано не для Вас, а для сторонних читателей этой темы. Я не рассчитываю изменить Вашу точку зрения, потому, что Вы религиозны. То есть, в самом фундаменте Вашего мировоззрения - логическая дыра, и непоследовательность, и лишняя аксиома (для объяснения мира простыми, а, значит, скорее всего, более верными концепциями. См. бритву оккама. Впрочем, "Уродливую Вселенную" я читала).

вот вы вроде бы женщина, но явно не любите смотреться в зеркало...  почему?

[Rattus]

я же говорила, что нужно действовать минимально инвазивными методами, находить такие. Я думаю, что доход от ГЭС позволит найти win-win исход, который и культуру племени сохранит, даже поможет ей, и улучшит жизнь всех остальных. Нужно играть в игры с положительной суммой, и выбирать win-win исходы.

Ну разумеется - ведь Земля и всё что на ней - резиновое, с бесконечной растяжимостью. А скатерть-самобранка всё ещё не изобретена только из-за неватки научных статей по теме топорокашеварения.