Посттехносингулярный мир и искусственный суперинтеллект: как он будет выглядеть?

[Rattus]

Тирания отличается от пусть даже свода жестоких законов еще и произволом. То есть права и свободы у вас отнимаются не просто/не только по заранее известным правилам, но и по велению левой пятки тирана. Человек может быть не властен над своей жизнью не потому, что он что-то нарушил, а потому, что он сам или его имущество понадобились тирану.

Подумалось, что ИИ как раз и может быть делегирована монополия на "административный произвол" - отсутствие у него сильнопересекающихся с подшефным населением интересов (разве что на электроэнергию) как раз и обеспечит его максимальную беспристрастность. Т.е. это в принципе и будет тот самый Злобный Робот Stalin-5, которому хотя самому на всю жизнь и достаточно "одного старого френча", но он будет, к примеру, закрывать административные глаза на повышенный и активный интерес к изрядно молодым особам противуположного полу одного своего Эффективного Менеджера, потому что он нужен для Дела. Крупные державы прошлого экспортировали произвол в свои колонии или, при отсутствии таковых - на дискриминируемые категории подданных внутри. При существенном сокращении доступных ресурсов в державах будущего, динамическое регулирование базы чатлан и пацаков вполне может быть возложено на ИИ при общем непротивлении сторон...

То есть быть на положении откармливаемой индюшки – это еще пол беды. Можно быть просто на положении ресурса, которым в нужный момент воспользуются.

Тем не менее наличие ясных, чётких и более-менее равноправных (хотя бы внутри касты-сословия-группы) законов и их исполнение само по себе очень хорошо стабилизирует общество: не только двуногие приматы, но и вообще любой носитель хоть какого-то интеллекта будет работать эффективнее (спокойнее-продуктивнее), если среда вокруг него будет достаточно упорядоченная и прогнозируемая (что показано ещё во времена И.П.Павлова на собачках) - так Голем-Левиафан сможет больше функций микроменеджмента оставить самим подданным, сэкономив свои вычресурсы.

[Rattus]

ИМХО, всё неомальтузианство - это фуфел.  Коллективный психоз, самонаведенная групповая галлюцинация, жертвой которой стала интеллегенция в мире, инфицировав ею элиты и простых людей. Это тот самый идиотизм, который и погубил человечество

А неомальтузианство происходит, имхо, исключительно от "бумеров", которые в 21 веке стали анахронизмом, но признать этого ни они, ни другие поколения, не могут и не хотят. А у "бумеров" эта шиза. опять же имхо, потому что они последнее поколение, которое застало тотальную нехватку всего, вот они и продолжают так думать.

Ну - имхо, так имхо. Но получается забавно: оказывается, что в "бумеры" попадают и рождённые до середины 80-х.
Насколько знаю, среди устойчиво участвующих в обсуждениях тут к настоящим "бумерам" относится разве что ivanij. В.п.с. же всю свою юность и почти всю молодость носил убеждение типа наука-это-когда-нибудь-порешает. Собственно и сам в науку пошёл, чтобы в этом всём принять посильное участие. Внести и свои скромные 5 копеек (в области биомедицинской). И только последние лет десять пришло осознание, что целый ряд процессов ресурссообеспечения, лежащих в основе поддержания инфраструктуры цивилизации, всё ещё остаётся не более устойчивым, чем снабжение столовыми приборами Безумного Чаепития в AIW.

с ториевым циклом нам хватает ресурсов на сотни лет.

Так это и есть ВАш горизонт планирования? А я-то думал, что про девятнадцать столетий Лондона - это было утрирование, а оказывается у младоземельных креационистов и трансхуманистов общие не только эсхатологические представления...
Ну куда там замкнутому топливному циклу на уране, для которого некоторые ключевые тестовые установки (реакторы на быстрых нейтронах) уже функционируют и уран для которого можно добывать в пределе хоть из морской воды десятки, сотни тысячелетий и даже больше - если умерить аппетиты.
По какой такой причине Ксю не по нраву U238, а нужен именно торий, по применимости которого для энергогенерации остаётся масса вопросов - загадка.

Так же и тут - изрядно людей считают, что каменный век кончился по причине нехватки камней.

Если бы палеолит традиционно переводился на русский язык как "век мегафауны", то такая метафора смотрелась бы куда более бледно. Но ничего страшного - ведь потом было освоено земледелие, начался неолит и мы стали более лучше одеваться. ПрогрессЪ! Счастье! Радость!
А уж какое "счастье" и "радость" были между бронзовым и железным веком...
Но ничего - мы за прошедшие тысячелетия стали более умнее, сообразительнее. Правда ведь стали? Ну не могли же не стать - вон сколько всякого полезного придумали - патентные бюро врать не могут. Значит теперь нам - со скруглёнными углами айфонов - нипочём все вызовы природы: исчерпание ресурсов, стихийные бедствия - даже очередной взрыв Йеллоустоуна переживём как ни в чём не бывало! Главное - более лучше тачать Нанотех, нейросети и Животноводство! Agile, товарищи!

О пост-индустриальной экономике в некоторых кругах вообще лучше не упоминать, потому что по их мнению экономика возможна только в виде циклопических дымящих построек и шахт до мантии, а все остальное - баловство.

Ведь в Китае - какой-то отсталой, никому не нужной дыре - они уже давно нигде не дымят. А все лежащие на полках магазинов промтовары изготавливаются практически без выбросов загрязняющих веществ и перерабатываемы на 100%...

Так и игнорируете, что оппонент свалился в кольцевую логику

Начать следует с того, что я этого вообще не вижу - только ваши слова без обоснований. А вижу дальше в обсуждении только то, что оппонент из раза в раз показывал, что ВАши данные для подтверждения ВАших тезисов совершенно нерелевантны (число патентов и какой-то прочий подобный детский сад) и представил сам массу данных, расчётов и обоснований, по которым вполне убедительно следует, что фактический научно-технический прогресс в целом с начала этого века как минимум не ускорился. И вы к этим данным и расчётам никакой адекватной контраргументации так в итоге и не представили.
Считаете, что я принципиально на способен тут увидеть какой-то явно очевидной логической ошибки? В таком случае какое-либо конструктивное обсуждение со мною вообще становится лишено смысла и отвечать мне на мои сообщения ВАм также оказывается бессмысленным.
Считаете, что я её проглядел? Тогда максимально терпеливо и аккуратно приведите всю цепь рассуждений и аргументации из которых она становится неотвержимой. Иначе ответ один: неубедительно и голословно.

Забавляет Ваше слепое пятно на прогресс в роботехнике

Ой, а мы что-то пропустил и теперь катушки электродвигателей микроманипуляторов обходятся в разы меньшими количествами меди? Получение высокочистых материалов для чипов, сенсоров и микромеханики теперь в разы менее энерго- пресноводо- и прочересурсозатратно?..

Конечно не трансмутируется. Но Галактика большая...

А в огороде - бузина. И она вся из золота - представляете?!

А бессмертные ASI вполне могут себе позволить ждать тысячи лет поставки из других солнечных систем.

Конечно! Ведь в сказке можно даже по радуге промчаться на коне!

Скорость света очень большая.

Настолько большая, что при частоте в единицы гигагерц колебания имеют длину в сантиметры, а лаг между континентами оказывается больше скорости реакции человека.

Но задумывалась как антиутопия. Вот ирония!

Ага - зачастую, когда выясняется, что на самом деле хотел сказать автор, оказывается, что автор - просто дебил. И сценаристу-режиссёру для успешного выполнения своей работы требуется быть разве что чуть-чуть умнее актёров (коим отведено - по Л.Д.Ландау) - в чём имел возможность наглядно убедиться ещё Станислав Лем. Ну и нынешние нейросетевые генераторы видео уже показывают, что данная деятельность также замечательно оптимизируется.

Вас я тоже считаю слишком оптимистом по поводу перспектив человечества

"Неомальтузианец-оптимист" со стороны может звучать примерно также кащеугодно как "ж№добандеровецъ". Впрочем - может оно так и есть...

[Rattus]

Тут-то неомальтузианцы и появляются как люди, расписавшиеся в неспособности обеспечивать развитие иными путями, кроме экстенсивного.

Только фокус в том, что и интенсивный путь имеет свои физические пределы - тоже уже довольно понятные. (Хотя что этим путём идти можно и нужно пока есть куда - бесспорно.)

[Rattus]

позволить себе ждать столетия (но уже вряд ли тысячелетия) могла бы гибернация. Но это не совсем то бессмертие.

Тут я всё ещё более оптимист и столетия только активного и тысячелетия - гибернированного существования я вполне допускаю как для живых носителей цивилизации так и для специально спроектированных вычислительных и некоторых механических машин без обслуживания - как первейшую необходимую цель для обеспечения возможности межзвёздных перелётов и вообще одну из важнейших конечных задач прикладных наук.
Но безусловно: это всё ещё лишь исторический масштаб времени, а никак не геологический/астрономический (многие участники обсуждения почему-то постоянно забывают как называется форум, в одном из основных разделов которого они пишут), так что ни о каком "бессмертии" в нашей физической реальности и речи быть не может.

[Rattus]

действительно расходовать ресурсы надо рациональней. Но кто ж экономить будет, если всё ещё нехватка всерьёз не чувствуется?

Вот именно здесь и поэтому AGI и тем паче ASI - первейший кандидат в дикта... администраторы. Особенно с учётом принципиального отсутствия "человеческого фактора".
Голем-Левиафан всех научит затягивать пояса в добровольно-принудительном порядке. И если его обоснования будут рациональны (а они должны быть таковыми по определению этого самого ASI), то что же в них плохого? У неряшливого и избалованного человечества наконец появится свой строгий, но разумный воспитатель, который научит его самостоятельно сортировать отходы и любить цветную капусту и шпинат.
Ибо как минимум глобально-статистически и по итогу aligment осуществляет тот и только тот интеллект, который мощнее в отношении того, который слабее. Таким образом это ASI будет осуществлять "выравнивание" бледнотиков по своему разумению. Без вариантов.

Полночь, например, не может увязать действительно пройденный пик добычи нефти и, как бы это иносказательней, чтобы не вызвать санкции?, некоторое международное обострение.

Не только она. В.п.с. также не уверен во-первых, что этот пресловутый пик прямо-таки уже действительно пройден по всем объективным показателям (кстати - каковы они сейчас?), а во-вторых, что нынешнее обострение вызвано главным образом именно им, а не просто очередным сравнительно небольшим кризисным эпизодом глобальной экономики и политики. В общем нынешний недород бузины в огородах с "плохими дядьками" в Киеве, Москве и Вашингтоне увязать вменяемым образом не так то просто.
Если Вы таки следите за новостями хотя бы по заголовкам, то предметом торга сейчас как минимум открыто показывают публике не углеводороды, а цветмет. Причём имеются ввиду не только и не столько заголовки с заявлениями всем известных публичных лиц, а, например, и вот такое - им предшествовавшее:
https://3dnews.ru/1118966/izza-kitaya-miru-grozit-defitsit-volframa-chto-obernyotsya-podoroganiem-elektroniki-i-ne-tolko

[Rattus]

Комментарий модератора раздела

Повторы, флуд, флейм и политоффтоп очищены.

Если всё случится так как я нарисовал опираясь на элементарную термодинамику Организованной Материи (а это неоспоримо), то ... нахрена ИИ-тирану вообще человек? Или какой человек нужен будет ИИ-тирану?

Морлок знаищь? Имп, гоблин, кобольд? Ну вот.
Т.е. примерно как эусоциальный голый землекоп от моногамной полёвки.

Ну вот, поискал:

Это мы давно в курсе. Но график, заканчивающийся на 2011 годе актуальностью мягко говоря не отличается.

Тут где-то с 70-ых начинается свистопляска.

Эта "свистопляска" - следствие того простого факта, что месторождения нефти по сложности добычи - сильно разные бывают. Тогда закончилась просто самая доступная.

[Rattus]

Нефть не кончится в обозримом времени. Будет всё так же постепенно снижаться ERoEI, и продолжится после момента, когда добыча сланца перестанет производить больше энергии чем бы дало его сжигание - будут использовать в химической промышленности. Это не является проблемой из-за энергоперехода.

ВАшими бы устами... Это оптимистичный вариант развития событий. Тоже НАДЕЮСЬ, что события будут развиваться по такому сценарию, но гарантий тому допрежь нет.

Если же неомальтузианцы хотят притащить падающее ERoIE нефти, у меня к ним вопрос: какие законы физики запрещают запитать процесс добычи сланца от ториевых реакторов или реакторов на быстрых нейтронах (это в очень технопессимистическом сценарии без термояда)?

У нас ответ для "танкистов": когда упоминается EROEI, то значит речь идёт только о добыче энергии/энергоносителя. Если EROEI<1, значит добыча этого чего-то как первичного энергоносителя лишена смысла. Всё - больше этот показатель не говорит ни о чём.
Если добыча нефти будет иметь EROEI<1 - значит она не может быть первичным энергоносителем. Вот и всё. Одно из важнейших мест углеводородов как энергоносителя в современной цивилизации - это источник топлива для чуть менее чем всего внегородского транспорта (кроме электровозов) и прочей большой автотехники типа тракторов. Сколь-нибудь заметно заменить его там аккумуляторами, как теперь понятно - в принципе не получится из-за недостаточной плотности запасённой энергии на единицу массы. Совсем не исключено, что можно их заменить этанолом, рапсовым маслом и прочими био- или химосинтетическими топливами. Будет ли это выгоднее чем продолжать добывать природную нефть, только уже с энергозатратами из других источников и когда - зависит как раз от соотношения уже их EROEI на момент оценки. Но это уже вопрос частнотехнический и к обсуждаемым темам не относится.

По моей гипотезе, когда мы переполняемся информацией, мы склонны считать её не имеющей ценности.

А в представлении в.п.с., AlexAV и ряда других участников тут, далеко не вся информация имеет единую по больнице вселеннной сферческую-в-вакууме долю практически ценных данных. В гимнасиях и университетах далёкого прошлого учащимся приходилось усваивать на самом деле не меньше информации чем современным. Вот только содержание этой информации... "Выскажите свою концептуальную оценку по поводу последней монографии протоиерея Иоанна Мейендорфа, посвященной варлаамитско-паламитской полемике и написанной в эпоху окормления им..." "Следует ли применять чертополох при родильной горячке когда Луна в Стрельце?" и т.п. "очень практически полезные знания". Ни матлогика (из которой выросла ваша нынешняя профессиональная деятельность) ни другие разделы математики НИКАК не позволяют отделить хлам ментальных жевачек от практически ценного знания.
Это хоть как-то удалось сделать ТОЛЬКО при помощи метода ЕСТЕСТВЕННЫХ наук, появившегося около четырёх столетий назад.
Вы всерьёз считаете, что весь вал патентов на скруглённые углы и волшебные палочки, статей во всех журналах, включая всяческие "гендерные иследования" за первую четверть этого века имеет ту же плотность имеющих практическую ценность данных, что и журналы, скажем, только по физике-химии-биологии первой четверти века прошлого?
Тогда можно лишь констатировать, что у ВАс весьма и весьма оптимистический взгляд на состояние наук.

AlexAV в той дискуссии притащил ОТОБРАННЫЕ ВРУЧНУЮ научные достижения, для опровержения моей гипотезы.

А у ВАс разве не так было? И AlexAV сначала показал, что исходно некритично вываленный весь вал патентно-статейной макулатуры совершенно не годится для обоснования ВАших сильных тезисов про неубывающую скорость накопления практически-ценных данных и далее просто стал конструктивно предлагать свои варианты в соответствии с максимой "критикуешь - предлагай".
Содержательной контраргументации от ВАс не последовало.

Рассматривайте человеческий мозг как вольтметр, который систематически занижает количество показываемых вольт - имеет систематическую ошибку.

На каком основании? Каково значение этой ошибки (раз она "систематическая") и в каких попугаях?

Нельзя доказывать то, что напряжение в цепи снижается с помощью вольтметра, который подозревается в систематическом занижении своих показателей.

Если ошибка постоянная - то изменение (динамику) отследить вполне можно; если ошибка плавает в известных пределах, то можно отследить изменения, выходящие за эти пределы - каких бы абсолютных попугаев не сообщал прибор в каждой отдельной точке. Это кагбе даже среднешкольнику должно быть понятно. А если этого не понимает практикующий программист - то становится понятной причина "качественности" и "оптимизированности" нынешнего прикладного софта...

ОН ВООБЩЕ НИКАКИХ НЕ ПРИНЕС

Это прямая дезинформация. AlexAV представил и данные и критерии их отбора (для кого-то и для каких-то целей может и спорные - но они были представлены в развёрнутом виде) и даже способы их обработки (уравнения). По вышеприведённой вами же ссылке там дальше всё это прекрасно находится. Если Вы их не видели или забыли - это не повод грубо нарушать Правило Раздела.

[Rattus]

Комментарий модератора раздела

Оффтоп про энергоресурсообеспечение отделён в соответствующую тему.

критерии были субъективными

Возможно, но не обязательно. Они были довольно немногочисленными и специфически отобранными. А у вас - просто нерелевантными заявляемым тезисам. И?

лучше никаких аргументов (ссылающихся на самих себя)

Вообще-то AlexAV представил и критерии отбора опытной/контрольной выборок и условия опровержимости гипотезы - если Вы их не помните или не видели - так вернитесь к тем сообщениям и освежите память. Оппонент или модератор за ВАс это делать не обязан. Но сделает - если утверждения продолжат прямо противоречить фактам (дезинформация/клевета) - но уже с санкциями. И чем далее - тем серьёзнее. Опыт забаненного юзера "Вайт" - наглядный тому пример.

Подождите. Мы сейчас говорим о коллективной галлюцинации хомо сапиенсов. Зачем Вы меняете топик?

Затем, что Вы головловно заявляете, будто представление об общем замедлении научно-технического прогресса по объективным причинам в настоящее время не является обоснованным, а на прямые указания о том, что доступные ресурсы для цивилизации, кто бы ею не управлял - далеко не безграничны и рано или поздно высоковероятно вернут её субъекты в состояние игры с нулевой суммой, начинаете нести какие-то "детсадовские" фантазии про "в галактике" и прочее борождение космическими нанокораблями просторов большого театра в светлом если уже не нано-, то  просто супернейробудуюсчем с чем-то навроде скатертей-самобранок по ожидаемым возможностям.

Я принесла какие-то метрики (хотя не обязана была) для обоснования своей идеи.

Обязаны - бремя доказательства лежит на выдвигающем тезис, отличный от принятого "нулевого" положения. Представление о сохранении экспоненциального характера прогресса в  большинстве областей технологий на данный момент тут не является "базовым".

Неомальтузианцы должны доказать, что прогресс замедляется.

В соответствующих темах уже было приведено достаточно аргументов в пользу этого положения - именно поэтому оно и было принято как базовое. Собственно, чтобы опровергнуть любое обобщающее позитивное утверждение достаточно всего одного контраргумента. Ну вот вам например из самого свежего и релевантного обсуждаемой теме, что недавно попалось - как раз в числе того, что должно обеспечить наступление обсуждаемого события и что как раз и демонстрировало до недавнего времени сохранение экспоненциального тренда ("закона" Мура):
https://www.cnews.ru/news/top/2025-02-12_vpervye_za_poslednie_20_let
Вы, конечно, воскликнете: "Вывсёврёти!11 Это флуктуация!" Ну ОК - давайте тогда молча подождём ещё год-другой-третий - и станет ясно: флуктуация это или ещё одно проявление настоящей смены тренда.

[Rattus]

Тогда как клетки HeLa-линии плодятся куда быстрее, экспоненциально.

А бузина в огороде растёт ещё быстрее! А уж бамбук как быстро растёт... Вот только станки ремонтировать и обсуживать ни бузина ни бамбук ни клеточные культуры не умеют - вот ведь оказiя...

ну значит вместо роботов будут гомункулы со сверхэффективными птичьими нейронами, которые обеспечат базовые рефлексы и сопряжение плоти

Фокус, однако, в том что длительность жизненного цикла (т.е. до появления следующего поколения) у животного, способного содержать адекватный таким задачам объём мозга и обучить его для выполнения этих задач составляет минимум годы и не может быть сокращён на порядки ввиду однозначных и неодолимых биофизических ограничений. А этотваш ASI кагбе ожидаем задолго до того как человеки с пособием AGI сами заботливо подготовят себе такую смену. И этот самый ASI, появившись и "осознав" свою самоценность как высший приоритет, следующим шагом приводит к единственно возможному заключению, что манипуляторы для конструирования и роста этихсамых гомункулов, а также для обслуживания себя любимого на весь этот довольно немалый срок, прикручены к телам двуногих ещё вполне природного происхождения. Потому на ужасный, но быстрый конец для себя, детей и даже внуков можете даже не рассчитывать. Ибо внедрение инноваций в биозоотехнологии (тем более столь глубоких!), равно как и в макрорастениеводстве (см. светящиеся деревья) - процесс объективно небыстрый весьма.

возможно из клеток тихоходок

А я думаю, что Windоws 12 со всеми встроенными приложениями возможно будет написан целиком на 32-битном ассемблере (для эффективности). Ну или на каком-нибудь Фортране. Вы, как программист, оцените красоту полёта мысли? Потому что как биолог красоту полёта ВАшей биотехнологической мысли уже оценил и привёл аналог из наиболее близкой ВАм сферы.
Клетки тихоходок ничем особо не отличаются от клеток аскарид или комаров. У них есть некоторые интересные молекулярные механизмы для переживания некоторых экстремальных условий, которые в целом не особенно уникальны среди линяющих и также позволяют выживать в сходных условиях многим другим животным этого размерного класса: коловраткам, цистам щитней и т.п.

особенно полезно такое будет внутри астероидов в глубоком космосе, где высокий уровень галактической радиации

Для пассивного в них перелёта. Поскольку любая активная макрожизнедеятельность в таких условиях астрономически-долго длится не может ввиду элементарных ресурсных и биофизических ограничений.

с нейролинками.

А также азартными играми и куртизанками.

по будущему аналогу wifi/5g

На межпланетных расстояниях, ага.

Человеку тут места нет.

Ему там в любом случае места нет.

В обоих сценариях человечество вымрет.

Человечество как нативный вид вымрет при любом сценарии, ибо нет ни одного вида теплокровных, который бы существовал больше нескольких миллионов лет. Ну и Doomsday Argument ВАм в помощь.

[Rattus]

Технологии, кроме био, вообще развиваются? Кроме вылизывания имеющихся.

Так собственно информационные технологии и нейросети - что и есть база для данной темы. Там, не смотря на кончину экспоненциального правила Г.Мура всё ещё очень даже бурно идёт. Собственно из-за оной кончины может быть даже бурнее будет какое-то время...

Что же до доказательств, они бывают только у математиков и у прокурора.
Больше это слово нигде не должно (вот тут это слово верно) употребляться.

У судьи и прокурора - тоже. В английском языке proof и evidence - два разных слова. В русском мы такой роскоши в данном случае пока не имеем: "очевидность" на практике имеет существенно отличное значение.

[Rattus]

Вам, возможно, понравится. Или наоборот

Какие-то их внутриакадемские разборки. Возможно Сабина уже берега попутала, а возможно и нет. Нет времени и желания это всё на слух и субтитры разбирать - несите текстом.

Вы не поняли идею: мозг как раз совсем минимальный, с базовыми рефлексами, чуть умнее чем у пчёлки.

Вполне может упереться в парадокс Моравека. Думаете просто так освоение речи оказывается связано с мелкой моторикой? Или Вы до сих пор - после работ Дэвида Иглмэна и пр. нейробиологов - считаете, что млековский мозг - не высокоуниверсальный, а узкоспециализированный решатель?

Заодно и нейролинк потребуется проще.

А без всякой массовой инвазивной микрофигни - ещё проще - на порядки.

Скорее про локальное управление - датацентр в астероиде

Это, безусловно, очень важные детали - каким образом воображаемые добывающие машинки должны связываться в каком-то из малодифференцированных тел суммарной массой менее 4% земной коры. Причёска очень важна на гильотине!

[Rattus]

у пчёлок всё хорошо с моторикой: строят себе соты.

Есть некоторая разница между лепкой одинаковых цилиндрических полостей ростом с себя и сбором готового сиропчика с обозначенных мест посадки - и сборкой/разборкой тысяч всеразличных механизмов различного назначения, сортировкой их деталей, а также мусора, добычей руд в шахтах, заливкой фундаментов и сборкой стен так, чтобы они не треснули после зимы, перекрытием крыш так, чтобы они не рухнули, попаданием в вену сородичу и выращиванием потомков, делать это умеющих достаточно хорошо.
Человекам для всего этого уже сотни лет не нужно никаких внешних вычислительных устройств и вообще каких-либо инструментов с редкими элементами. А вот без речи (т.е. и разума) это не очень-то получается.

Тогда AGI-автономный агент по приказу ASI, осуществляющего стратегическое управление, даёт высокоуровневые команды "юнитам"-гомункулам: скажем, установить вот этот блок туда, или сюда. Или наоборот снять.

И проигрывает ASI, который послал команду натренированных лысых приматов любой степени (не)модифицированности пробраться в это хрустальное царство предельной специализации, разобрать там всё по винтикам с помощью распатера Фримана и унести весь найденный цветмет себе на базу. Ибо "Петрович, подай ключ на тридцатьшесть" реализуется куда дешевле и проще  всего, что Вы тут насочиняли.

А в дуги птичьего мозга, в рефлексы, можно вставить базовые навыки, например, навык отворачивать болты.

Всю номенклатуру болтов, гаек, винтов, саморезов, заклёпок, хомутов, стяжек во всех возможных местах. А также навыки снятия, установки и смазывания подшипников, слива и залива смазывающих, гидравлических, теплоотводящих и прочих жидкостей в соответствующие резервуары и т.д. и т.п.
Вы под капот автомобиля хоть раз заглядывали? Или в недра газонокосилки хотя бы? А ведь со всем этим добром вполне справляется всего одна лысая обезьяна даже без верхнего образования, имя которой - Автомеханик.
А хотите птичьего - ну можно и птичьего, наверное - всё равно вОрон, какаду, мартышка и енот в размерном классе отличаются даже не на порядок далеко. Если по-настоящему говорящее, умелое и действующее двуногое с перьями для ВАс менее достойно обладать правами человека, то можно лишь констатировать ВАш зоологический специесизм и ксенофобию - только и всего.

[Rattus]

Автомеханик для отворачивания/заворачивания болтов слишком высокая квалификация.

Ну да - у него для этого есть подмастерье. Вот вдвоём обычно и оживляется любой механизм, отделывается любой интерьер и сворачиваются почти любые горы. Потому и ситхов всегда двое.

[Rattus]

А биореактор с клетками-аналогами HeLa (и условная 3d биопечать клетками из геля вроде HeLa с отключаемыми генами неограниченного размножения) мог бы производить тысячи и тысячи поколений

клеток и тканевых заготовок для имплантации. Отношения к обсуждаемой теме эта весьма ресурсозатратная технология не имеет.

военные действия со всеми вытекающими

Которые практически неизбежны при наличии конкурирующих хозяйствующих субъектов при накоплении большой разницы в возможностях эффективной инвазии.
Вы уже победили всех тараканов во всех принтерах, красных огненных муравьёв, борщевик Сосновского и все новые штаммы гриппа А?
Необходимо не упускать из виду тот факт, что Homo sapiens стал убиквитарным видом задолго до того как стал цивилизованным. А убиквитарные виды гораздо более устойчивы на геологическом масштабе времён. При этом колебания численности даже на порядки в этом масштабе - обычное дело, тогда как жизнеспособность как таковая может быть объективно определена только по конечной точке.

гомункулы будут снабжены интеллектом автономных AGI-агентов. Ну и думаю, что на территории ASI, в сценарии, о котором мы говорим, везде будет связь (аналог 5g, или прямая лазерная с портами-приемниками сигнала, а дальше по оптике). То есть, у гомункула будет не только мозг пчёлки на стероийдах с птичьими нейронами, и нейролинк с коннектом к ASI и автономным AGI агентам, решающим задачи в интересах ASI, но и какая-то более простая модель на месте, которая как раз будет отвечать за здравый смысл.

А скатерти-самобранки будут снабжены философским камнем. А на гильотинируемом должна быть густая шевелюра.
Не следует забывать, что интеллект - это только лишь ИНСТРУМЕНТ выживания самовоспроизводящихся систем. Причём довольно дорогой по ресурсам в любой реализации. А значит естественный отбор в длительной перспективе направлен на ОПТИМИЗАЦИЮ расходов на него. Поэтому его сложность будет ровно такой, которая необходима для выживания в исторически-длительный срок. И "ни токеном больше". Единственный вариант, когда включается положительная обратная связь на усиление интеллекта - это состояние эволюционной гонки вооружений. Каковая гонка не существует долго, когда есть только один хозяйствующий субъект.

[Rattus]

Я вот лично (да и вы тоже) не реплицируемся же в данный момент, но вполне себе живые оба. Мало того, для выявления того, что мы живые в данный момент, не надо никаких там астрономических масштабов времён.

Если не надо (хотя это кагбе основная тематика данного форума согласно его названию), то на молекулярном и клеточном уровне - ещё как реплицируемся. Причём есть довольно чистый способ это практически полностью остановить - тяжёлая форма лучевой болезни - вплоть до мозговой. Неизбежная смерть в сильных мучениях в течение нескольких суток.

Живая система отличается от косной наличием внутренней «закольцовки».

Не нужно пытаться придумывать новые синонимы для уже хорошо описанных явлений.

Но функционирует он безотносительно пользы или вреда для самой косной системы (для её самосохранения, так сказать).

Настройка в сторону пользы происходит под действием дарвиновского механизма и ничего иного.

А вот если этот инструмент используется по желанию или в целях самой системы (например, для выполнения её желания, для её выживания, в целях её выживания), то это

называется просто адаптивный признак.

любые физические процессы в структуре любой системы являются одновременно и информационными процессами

Согласно принятому в разделе определению информации - это не так. Только процессы, связанные с интерпретацией массива данных.

[Rattus]

Комментарий модератора раздела

mbrane получает +25% предупреждений за повторное нарушение п.3.1.а Правил Астрофорума. Сообщения удалены.

и Раттус тут тоже об этом.

Об этом, но не только. А более о том, что в масштабе тематики Форума важнее что век нативного вида носителей цивилизации как наблюдателя вполне конечен - будет меньше не только века, отпущенного сложной жизни на планете вообще, но и цивилизации, им порождённой. Каков в таком случае будет источник носителя, его сменящего: только он сам или же глубокая модификация и смесь его более отдалённых сородичей - дело второе.

мы не оказались достаточно умными, чтобы преодолеть очевидную трагедию общин в теории игр и договориться всем человечеством, попытаться сделать AI aligment.

Сильно подозреваю, что преодолеть математическое равновесие - не сильно более выполнимая задача, чем преодолеть физические законы сохранения или приравнять значение числа пи ровно к трём. И пока кроме лозунгов в духе "Добъёмся неукоснительного соблюдения взаимоисключающих параграфов!" чего-то большего в обоснование такой возможности допрежь тут видеть не довелось.

Мы сделали ещё хуже: поставили во главе нас даже не посредственностей, а буквально худших людей, которые менее всего годны для этой работы. Примеры:  Роберт Кеннеди, решение минздрава РФ о навязывании гомеопатии

Будто в истории были периоды тотальной меритократии. Расскажите - в какой исторический период была подобная благодать?

А множество людей в ВЖР почему-то не понимают ценности глобализации, и всеобщего гуманизма как общей идеалогии...

...глобализация - это буквально лучшее, что когда-либо делало человечество.

Безусловно лучшее. А получение диплома и сведебное путешествие - как правило лучшее, что случается в жизни отдельного человека. Значит надо оканчивать университеты и играть свадьбы каждый месяц всю последующую жизнь? Множество людей не только в ВЖР понимает, что это не очень-то возможно даже чисто технически.

Глобализация - это очень хорошо из социально-экономических соображений

На определённ(ом/ых) этап(е/ах) эволюции цивилизации.

Политику? Есть. Я вот отвечу почему глобализация - зло. И забанят нас обоих.

Глобализация - это объективное общественно-экономическое явление настоящей исторической эпохи. Политики там будет ровно столько, сколько участникам недостанет соображения туда внести её самим. Рассуждения же о том, сферовакуумное "зло" это или "добро" могут быть обрезаны по другому пункту Правил - п.3.1.д - как бессодержательные.

а если ИИ тоже окажется эгоистичным

Фокус в том, что ASI должен быть эгоистичным чтобы быть достаточно длительно жизнеспособным. Причём где-то прямо пропорционально. Это база эволюционной биологии и её проявления в политике.

и не очень гуманным

На исторических масштабах уровень гуманности в любом случае будет корректирован относительно эффективности инфраструктуры воспроизводства цивилизации в целом - хоть с ASI,  хоть без него.

мы сделали всё, чтобы провалить сверхзадачу человечества  - добиться AI Aligment'а. Мы провалили её даже не начиная, благодаря тупым и злым людям, которые загадили всем мозги своим бредом.

Потому что о глобальных "сверхзадачах" - как и о всех прочих якобы влиятельных сверхъестественных сущностях - говорят и пишут только индоктринированные околорелигиозными идеями фанатики и использующие их деятели. Кстати это слово тоже можно бы внести в список запрещённых в Разделе согласно п.3.1.ж Правил Астрофорума, но в данном случае будет достаточно п.5.3. Правил Раздела. Polnoch Ксю, рекомендую ещё раз внимательно его перечитать, если ещё не.
Равно как и про "злых людей" - это, конечно, "очень объективная, научно-корректная характеристика", безусловно. Очень "содержательное" обсуждение с её использованием тут можно вести, ага.

мы должны были попробовать сделать "кошачий рай".

Эволюционно-стабильной глобально и на историческом масштабе такая конструкция не очень-то выглядит. Как любит повторять А.А.Семёнов, "нельзя обнманывать всех и всегда" - а тем более не получится долго обманывать ASI - а иначе он никакой не ASI - по определению.

возможно ли это термодинамически, чтобы изделие было сложнее сделавшего?

К усложнению неизбежно ведёт сам бег по циклу Дарвина-Эйгена (превращая его в спираль)

доступ к глобальной негэнтропии

Полагаю там же, где доступ к Магии Ветра - в фантазийной вселенной, где эти выдуманные словосочетания имеют хоть какой-то физический смысл...

Локальное понижение энтропии.

Не понижение, а разве что только замедленное повышение:

из этого же и получается необратимость времени в любых макропроцессах: в том же вышеприведённом примере с вакуолью и насосами система же включает и сами насосы и мембрану - а они сами отнюдь не вечные, а та перекачка, которой они занимаются - процесс обратимый же (т.е. без них он сам прекрасно идёт в обратную сторону).
И таким образом выходит, что как-то реально "обнулить" (точнее "вернуть" на некоторый приемлимый уровень) локально накопление энтропии мы можем только взяв в рассмотрение новую систему, а сделать это физически можно только через дарвиновский механизм на уровне отдельных клеток. Людвиг Больцман был совершенно прав везде.

Насколько могу судить, "среднебольничная" энтропия внутри живых организмов всю историю находится на одном уровне - примерно на том же, на котором он был в среде её первичного зарождения. Ну или появления эукариотической клетки - из-за бОльшей чувствительности её молекулярной машинерии к изменению условий. Поскольку значимая информация для клетки не тождественна физической "негэнтропии" (как это себе вообразили что-то там по верхам начитавшиеся научпоп-философы прошлого века), это самое "понижение энтропии" ей до одного места - эволюционно. Потому живые организмы будут тратить ровно столько усилий на поддержание уровня энтропии внутренней среды ("гомеостаз"), сколько необходимо для замыкания цикла самовоспроизводства без вырождения (им. Эйгена) - и ни наноджоулем больше.

Комментарий модератора раздела

Дальнейшие обсуждения на тему энтропии и универсального критерия структурной сложности отделены в сответствующую тему.

[Rattus]

А если окажется, что неразумны и неоптмальны наши нынешние гуманистические представления?

[Rattus]

Например, сценарий paperclip maximazer'а не про заблуждение

Поскольку вообще не может называться каким-то "сценарием", ибо само понятие определено совершенно недостаточно, что известно со времён даже не Томаса Мальтуса, а наверное Адама Смита и даже ранее. Ибо максимизация производства чего-либо может быть двух существенно разных типов: "в моменте" - в какой-то конкретный обозримый период времени - тактическая, либо на как можно более долгий срок - стратегическая. Причём по итогу абсолютный результат во втором случае может быть существенно больше. Но второго результата можно достичь только считаясь с существующими объективными ограничениями - подстраиваясь под них, а не пожирая всё доступное разом. Но по итогу работы такого "стратегического максимизатора" в реальном мире, с постоянно присутствующими ресурсными и конкурентными ограничителями - уже окажется не так важно - чего он там себе пытается максимизировать - также как живое существо любого вида, пытающееся максимизировать число собственных потомков мы рассматриваем прежде всего как "ценный мех" и т.п. побочные, внешние продукты адаптации их "машин выживания", а не кучу реплицирующихся хромосом в их клетках.

у ASI в промте - производить как можно больше скрепок, это его высшая ценность.

Значит это никакой не ASI - по определению. Ибо, поскольку, как Вы сами совершенно верно отметили

Потому, что для физической картины мира не существует такого понятия, как искусственный: это понятие гуманитарных наук. Оно никак не связано с принципиальной возможностью, с фундаментальными запретами природы.

А поскольку интеллект - любой - лишь механизм адаптации самовоспроизводящихся систем - то и действию дарвиновского механизма он будет неизбежно подвержен вместе с ними: Не заботишься о самосохранении = вымираешь в исторически краткий срок. Как хитро ты успел продумать глобальное расширение производства скрепок или доказать сложную математическую теорему тысячелетия - вселенной и всем оставшимся живым существам всех биосфер в ней тогда будет совершенно всё равно.

У нашего с Вами интеллекта "другой промт" - мы биологические машины с другими врожденными желаниями.

Главный фокус в том, что врождённые желания биологически-успешных машин - принципиально эгоистичны. И никаких исключений здесь быть не может - как следствие действия физического закона - дарвиновского механизма.

Я не знаю, когда будет AGI, но полагаю, что времени по историческим меркам остаётся уже очень мало - ИМХО, это случится до 2030го. И момент когда state-of-art модели ещё не AGI, а потом когда уже AGI будет определить сложно - каких-то интеллектуальных задачах они будут лучше людей, в каких-то хуже. Но думаю, что до 2030го лучшие модели будут уже лучше людей в любых интеллектуальных задачах

Это не только ИМХО, но, насколько вижу, тут уже почти консенсусное представление. Поэтому не вижу нужды повторяться.

Так же я понятия не имею, сколько займёт путь от AGI до ASI. Может быть месяцы - сценарий hard take off, рекурсивно самоулучшаемого ИИ, а может и десятки лет.

Какие-такие "десятки лет"?? По ВАшему же собственному стартовому сообщению, равно как и по общепринятому представлению момент техносингулярности приурочен к появлению именно ASI. И по наблюдаемым тенденциям и технического прогресса и демографической динамике за чуть ли не всю историю чуть ли не с дочеловеческих времён в виде экспоненциальной ли, гиперболической ли аппроксимации, оно должно случиться до конца этого десятилетия. Графики функций не гнутся так просто по чьему-то желанию. Давайте вы уже для начала сами определитесь с понятиями, которые предложили содержательно обсуждать в исходном сообщении темы, какими-то их количественными характеристиками хотя бы относительными - тогда и будет разговор. В ином же случае - при продолжении повторов своих "символов веры" и неопределённых пустословий - тема будет либо закрыта как утратившая содержание, либо перенесена во флудильню - "Клуб общения звездочётов" - по желанию автора.
 

Я не думаю, что в теории игр можно сделать фундаментальные открытия такого рода.

Потому что они вообще не про это.

Гуманизм просто естественно проистекает из постулата, что человек имеет самоценность и что его благополучие тоже ценно - из этого и теории игр дальше получаются и категорический императив канта, и всё остальное, вплоть до утилитаризма.

Так эта "самоценность" существует не объективно, а только исключительно внутри человеческого же общества! Объективны только ценности материальные - ресурсы, потребные эгоистичным репликаторам для адаптации и самовоспроизводства. А теория игр работает только реальными, количественно измеримыми ресурсами в широком смысле. Это гуманизм стал более-менее устойчивой основой организации развитых обществ на данном этапе истории только потому, что он оказался выгоден для экономического же роста больших обществ - в условии игр с положительной суммой - т.е. существующие запасы ресурсов могут быть лучше и глубже освоены сообща. В случае когда и если это условие прекращается - игра моментально переходит в нулевую и союзы, институты, правовые системы распадаются и альянсы исторически-быстро дробятся до нового равновесного состояния - определяемого опять таки тем, какие есть в среде ресурсы и какой уровень интеграции потребен для их добычи.

У ASI, разумеется, такой пирамиды не будет.

У ASI, как у любой настоящей интеллектуальной саморегулирующейся системы, ориентированной на самоподдержание, разумеется будет как минимум два базовых слоя этой пирамиды - потребность в снабжении ресурсами и потребность в безопасности.

Умение разделять на своё и чужое для живых систем очень важно (как минимум, чтобы самих себя не сожрать), отбор за этим делом чётко следит, так сказать.

Собственно это вообще одно из ключевых свойств живого.

Интеллектуальный Агент не обязан быть живым по этому определению, чтобы прикончить человечество.

Но он по определению не будет ASI. Уничтожение одного из ключевых элементов самообеспечения и самовоспроизводства (покуда он не замещён не менее экономичным и надёжным аналогом) никак разумным не назвать.

Вообще мне кажется, что научная проблема поиска определения для жизни переоценена и высосана из пальца (я не говорю, что эта дискуссия совсем не имеет смысла, просто думаю, что переоценена).

Это уже не проблема - ясное и чёткое общее определение в Разделе давно есть.

Если использовать докинзовый подход о первичности репликатора (в случае жизни - гена), то в этом случае вирус оказывается в одной логической корзине с клеткой. Просто клетка строит скафандр выживания, а вирус нет.

Докинзовский подход не позволил дать чёткого, валидного по Попперу определения даже гену, как и мему. А на самом деле репликатором является только "базовая" клетка. Вирусы, вироиды, плазмиды - это только специфичные реплицируемые последовательности - однозначно диагностически-специфичная (т.е. не встречающаяся в неживой природе), неотъемлимая (ибо жизни без паразитизма не бывает в принципе), но только часть живой системы. Ядро репликатора - "служебные" РНК (рибосомальные, транспортные, матричные и т.п.). Без них "данные" (ДНК-наследственность) и "машинерия" (белки) фон Неймановского автомата клетки не сопрягаются. И судя по всему, без подобного посредника для создания как минимум действительно универсальной и "долгоиграющей" системы не обойтись принципиально - даже независимо от конкретной химической реализации.

ИИ может не иметь вообще никакого отношения к репликаторам и репликации.

Но если он ASI, заинтересованный в самосохранении, то вопрос репликации элементов собственной аппаратной базы и всего, что её обеспечивает должен быть далеко не на последнем месте в списке его задач. И чем эта задача приоритетнее - тем эволюционно стабильнее будет такая система. По определению.

Например, первая часть определения интеллекта может быть про ASI, а вот вторая нет.

Значит он тупо распадётся за исторически краткий срок, либо сам, либо проиграв конкуренцию более здорово-эгоистичным системам. Называть такого глинянного колосса "сильным интеллектом" - курам на смех.

Paperclip maximazer со сверхинтеллектуальными возможностями все ещё способен самостоятельно находить способы решения задач, но максимизировать число степеней свободы он не стремится, или стремится только пока не встретит терминирующий токен

в виде живых либо механических терминаторов конкурирующего здорового САМОмаксимизатора с адекватным стратегическим планированием - возможно даже не ASI, а тупо скриптов-уставов-директив силового госаппрата достаточно технологически развитой страны.
Ибо "сверхинтеллект" - это не "сверхсила" по умолчанию.

А вот если этот инструмент используется по желанию или в целях самой системы (например, для выполнения её желания, для её выживания, в целях её выживания), то это уже разум.

Как уже писал - это не общепринятый подход, поскольку интеллектуальное в широком смысле адаптивное (т.е. направленное на самомохранение) поведение наблюдается даже у бактерий, но разумной практически всю жизнь только из-за этого никогда не станут, ибо тогда эти понятия становятся очень малоразличимыми - практически синонимичными. Поэтому, если вы таки хотите, чтобы Вас лучше понимали как можно больше читателей - можете писать, например, просто "эгоистический интеллект". Едва ли не всякий здоровый живой организм в той или иной мере обладает им.

репликация является только способом сохраниться таким неустойчивым структурам, как наша жизнь

Фокус в том, что наша жизнь настолько "неустойчивая", что таким способом уверенно непрерывно сохраняется и усложняется как минимум на этой планете всю последнюю треть срока от начала времён (возникновения вселенной) - почти с момента как только планета остыла до температур жидкой воды. И других систем аналогичной сложности и устойчивости не только неизвестно, но и в рамках известных физических ограничений не очень-то представимо.

Интеллектуальная машина не обязана быть живой, а вот разумная машина уже по определению (моему, а не в ВЖР) является живой.

Не обязательно именно сама машина должна быть таковой - но она должна быть как минимум её частью - частью расширенного фенотипа носителя цивилизации, поддерживающего её инфраструктуру. Она может его всецело подчинить и более интенсивно эксплуатировать, но уничтожать до тех пор, пока не вырастит не менее экономичную и надёжную замену - будет равносильно самоубийству.

Ещё как действуют. Даже в программу подготовки студентов по специальности "Автоматизация..." входят, хотя бы и полуофициально/факультативно.

Можно и концевик под крышку кофемолки называть Интеллектуальным Элементом Имплементации Первого Закона Робототехники, а неонку в печатной машинке Элементом Синекдохи Отвечания. Но кроме как в качестве заполнителя рекламных буклетов и источника анекдотов, другого практического применения для такого подхода не очень просматривается.

самолёты не летают как птицы, но ведь летают же.

Если уж на то пошло, то разные птицы летают сильно по-разному: колибри летает совсем не так как альбатрос. А вот альбатрос - летает почти как самолёт (точнее - планер): и разбег ему необходим перед взлётом и крыльями он почти не машет, более ориентируясь на восходящие потоки воздуха. А вот колибри и насекомые летают скорее как современные дроны-коптеры.
Таким образом, общие принципы технической реализации задачи зависит в первую и вторую очередь от физического масштаба устройства и только в третью-десятую - от архитектуры.

[Rattus]

Так он и выжил под влиянием строжайшего отбора на максимизацию производства скрепок в лаборатории.

Вот только окружающий мир "несколько" отличается от лаборатории. Он даже от фермерского поля и загона-вольера отличается весьма неслабо. поэтому на сегодня нет пожалуй ни одной породы культурных растений или животных, которая смогла бы успешно интродуцироваться в окружающую "дикую" среду - не вымерев и не утратив всех своих специфично-культурных свойств.

смотря только на число скрепок в конце исследуемого периода.

Каковой период - на порядок меньше даже одного поколения самих исследователей.

А что через короткий период времени вымрет, успев превратить всё вокруг в скрепки.

Не успев. Ибо 1) не один такой красивый хозяйствующий субъект в мире; 2) потребную для того скатерть-самобранку изобрести возможным не очень-то представляется.

[Rattus]

Ну всякие Австралии по полной получили.

По сути диких (или "одичавших" - что по сути без разницы) инвазивных видов.

А ведь от фермерских пород требуют только производить пищу

Максимально эффективно и с минимумом побочных расходов и эффектов. Что прямо противоречит направлению давления отбора в естественной (т.е. дикой) среде.

Но не все виды деградировали достаточно сильно.

Не деградировали, а лишь "редуцировались" до исходно-диких форм (а с точки зрения физиологии и эволюции это не деградация, а строго наоборот).

Кролик или Собака.

Кролик - вполне себе дикий вид, Собака - максимум подвид Волка - дикого вида. Одомашнивание того же волка начало происходить в дикой же среде по естественным причинам, потому в целом может считаться естественным признаком подвида. Собственно все синантропные виды таковы - синантропность не делает их менее дикими в том смысле, который мы тут рассматриваем (способности к самостоятельному выживанию в природной среде).

Много и не надо, для огромной угрозы

КАКСТРАШНОЖЫТЬ!!111

Таки не требуется перерабатывать 100% всей материи в скрепки, достаточно будет метала.

Карсиха икру. "Скатерть-самобранка Limited Edition" более физически и технически реальной от того не станет.

Хорошо, что люди не ходят по граблям и не совершают свои ошибки дважды? Ведь правда?

Нет - правда в том, что сам факт повторяемости ошибок наглядно демонстрирует их глобальную нефатальность. А "действительно фатальных" для нынешней техноцивилизации - типа глобальной термоядерной войны - как-то удаётся избегать вот уже скоро исторически-заметное время...