Посттехносингулярный мир и искусственный суперинтеллект: как он будет выглядеть?

[Rattus]

А ещё лучше - не банальные $, а криптомонеты. Причём лучше самые современные - на квантово-стойком алгоритме шифрования, например.
Будет стильно, модно и техномолодёжно.
В рамках форума если - аватарку в назидание - это можно, конечно. Но опять таки заранее проработав все условия и содержание, а не с бухты-барахты - чтобы максимизировать эффект общеназидательный, а не банально-шейминговый.

Кстати для нанотехноэнтузазистов критерии челленджа уже некоторое время назад сформулировал и изложил:
За прошедшие с тех пор почти пять лет положение вещей там не особо изменилось.

[Rattus]

Вот ещё свежачок - тут вроде не видел пока:
Google предложили решение одного из главных недостатков ИИ

[Rattus]

наделяете не-биологические системы качествами биологических

Цивилизация вместе с её носителем, способная к самовоспроизведению - система по сути биологическая (расширенный фенотип), а её возможный управляющий орган - её часть. Сама по себе, разумеется, не обладающая всеми свойствами живого, но вынужденная способствовать выполнению биологических функций системы в целом, если оная система существует астрогеологически заметный срок.

что сверхинтеллектуальную машину будут волновать долгосрочные последствия - не думаю, что её будет интересовать определение в разделе ВЖР, а не промт, биасы обучения и, может быть, галлюцинации.

Это определение должно прежде всего интересовать ВАС - как автора темы и сообщений тут. Если вы придумали какое-то своё определение разумности и сверхразуности - вы должны были ПРЕЖДЕ подробнейше обосновать необходимость именно такого определения тут, а не использовать его будто само собой разумеющееся, а потом удивляться что ВАс тут не понимают.

У Вас каким-то (магическим?) способом это осознание должно пересилить то, что написано в промте.

Не магическим, а самым что ни на есть физическим - через действие дарвиновского отбора. Нежизнеспособные системы вымирают, уступая нишу системам адаптированным.

Тогда как даже у людей постоянно бывают случаи прямых самоубийств и другого саморазрушительного поведения, связанного с культурой. У более сложной системы можно ожидать большее разнообразия, сложности такого поведения.

Ага. Вот только людей и культур - далеко не один на всю планету. И самоубийство одного освобождает "место под солнцем" для другого - у кого нет проблем с дофаминэргичской системой подкрепления (пусть, возможно, и не настолько высокоинтеллектуального в данном поколении). И так - всю историю.

что конкуренцию в моменте (и навсегда) выйграет машина, заботящаяся о долгосрочных последствиях, а не просто тупо самая умная

Так в том и фокус, что до момента достижения тотального-глобального контроля (если он вообще возможен) никакого одного момента тут нет! Конкурирующие системы в любом случае просуществуют достаточно времени и поколений себя, чтобы подвергнуться не одной итерации естественного отбора.

вы опять принимаете как аксиому, что люди - лучший, самый рациональный выбор как обслуживающий персонал для ASI.

Потому что руководствуюсь наличными фактами, а не допрежь малообоснованными спекуляциями рекламных проспектов робостроительных компаний и фантазиями техноэнтузазистов.

Наверное, где-нибудь в XIXм веке кто-то мог бы думать, что лошадей - никогда не сдвинут с пьедестала транспорта

Кто-то и в XIII веке это вполне мог себе представить. Транспорт - узкая и вполне понятная функция - раз. И полный сдвиг тяглового скота даже после начала конвеерного производства "стальных лошадок" в ней произошёл далеко не за одно поколение, а где-то за три (~за полвека) Собственно одна из победивших сторон в последней большой Войне ешё очень даже использовала (хоть и вынужденно) тягловый скот во время её. Ну и соревнование за Южный полюс было выиграно на собачьих упряжках Амундсена, а не на вездеходах Скотта (и не просто выиграно - а самым жёстким образом по Дарвину - с награждением проигравшего его "премией").

лучше начать селекцию крупных птиц, чтобы сделать из них аналог лошадей для полётов.

Биофизика не позволяет при существующей плотности атмосферы и парциальном давлении окислителя в ней.

Тогда как лысая говорящая обезьяна оптимизирована под марафон по саване, а не под то, чтобы быть механиком.

В общем-то не лучше чем какой-нибудь страус или копытное - что ясно видно по форме нижних конечностей. Она и под плавание не оптимизирована, но плавать научается настолько неплохо, что гипотеза "водной обезъяны" довольно долго не была совсем маргинальной. И механика ей в итоге далась очень даже солидно. Так что высокая УНИВЕРСАЛЬНОСТЬ этой самой обезъяны сомнению не подлежит.

Какие фундаментальные запреты природы помешали бы ASI в самом технопессимистичном для роботехники случае использовать ГМ-гомункулов?

Никакие. Но из нативных HSS их вывести проще и дешевле гораздо.

Скажем, птичьи нейроны как коннектор для нейролинка и для прописывания рефлексов (ну там как гайки крутить)

Неизвестно насколько птичий мозг хорошо масштабируется вверх по Весту-Энквисту-Брауну до уровня микромоторики (у человека, кстати, очень связанной с речевой функцией) и количества регистров рабочей памяти, необходимых для того, чтобы эффективно крутить гайки, вдевать нитку в иголку и т.п.

Энергетика гомункула на прокариотах.

Давайте вы сначала изучите эту самую биохимию и биофизику (а именно - биоэнергетику) про- и эукариотических клеток (например - плесневых грибов, лишайников), а потом будете фантазировать?

Потому, что нельзя дёшево масштабировать то, что как человек использует популяционную K-стратегию.

О чём и речь. Потому вполне можно вернуться к тому, как эту же стратегию используют все остальные теплокровные (и звери и птицы). Мышевидные грызуны, например - вполне типичные K-стратеги.

Ей будет нужен механик с R-популяционной стратегией

Во первых такой стратегии не существует - "r" обозначается в нижнем регистре - это переменная в уравнении. А во-вторых - зачем  где-то механик, мечущий икру наружу миллионами как рыба-Луна? На него что - есть какое-то давление хищников, паразитов или что?

Вот допустим, стоит задача - максимизировать скрепки. И сверхинтеллектуальная машина будет их максимизировать. У неё возникнет инструментальная цель

Возможность системе с жёсткой инструментальной целью уровня неодолимого инстинкта стать даже AGI-агентом с настоящей дееспособностью в реальном мире - сильно сомнительна.
И возможность получить таковые на одних нынешних промптоцентричных LLMках - таки тоже.
Это Вы почему-то видите экскаватор как Очень Большой Совочек. То, что для достижения следующих уровней интеллектуальных способностей могут и почти наверняка потребуются качественные изменения архитектур ИИ - и скорее всего не одно - вы почему-то во внимание не принимаете.
Ваш modus operandi - прямая экстраполяция. Вы уже заказали 100500 свадебных тортов?

Предлагаю такую поправку:
Интеллект -... "сила" способная к максимизации число степеней свободы управляемой системы по А.Висснер-Гроссу.

Эта поправка начисто лишает определение какой-либо определённости и делает его совершенно бесполезным. "Может способная, а может и не способная - по настроению. Что это за сила такая тогда - предмет тёмный и неведомый."
Следом идущий "разум" - это предмет более конкретный исходно, всегда существующий во множестве - и там потенциальность проявления какого-то его свойства его конкретным физическим носителем (реализующим не только одни лишь функции этой самой "разумности") в зависимости от конкретных же условий оказывается уместной.

Извиняюсь, для меня это звучит как, "Федя, решив потравить тараканов дихлофосом, встретил сопротивление от тараканов и Коли".

А если вместо такраканов будут RIFA? Или крупная популяция Rattus norvegicus? Оно как будет звучать?

Но Физика не завершена. Мы не знаем, как связать КМ и ОТО. Не понимаем тёмную энергию, природу времени, структуру сознания. Говорить, что всё известно, значит отвергать сам дух науки, разве нет?

Не завершена только в области энергий и плотностей, заведомо никак и никогда не доступных на практике в рамках данной звёздной системы. "Структура сознания" - не предмет физики. Фундаментальная физика по сути завершена в области технически-достижимого. Все оставшиеся практически-значимые вопросы лежат внутри определённых ею рамок - в области "комбинаторных наук" ("собирания марок" по Э.Резерфорду).

Кстати, ASI это инструмент расширения физики. ИИ с доступом к симуляциям, сверхточным датчикам, квантовым моделям и возможностью проверять миллиарды гипотез в секунду будет естественным продолжением физической науки, не отрицанием её.

Возможно. Но уже не факт, что полученные ASI модели будут доступны для понимания человеком. И в любом случае не повлияют на практически-возможное тахат ha Шемеш (под Солнцем). Поэтому обсуждать это довольно малосодержательно оказывается.

И ведь форум как раз место для гипотез, не для догм.

Настоящие гипотезы формируются на основе известных фактов, а не фантазий и строго в соответствии с научным методом. И здесь нас интересуют не гипотезы космологов и глубоких теоретиков, а те модели и решения наук, у которые есть хотя бы какие-то возможности быть применёнными где-то на практике.

[Rattus]

Фраза "технически-достижимого" звучит весьма забавно, если вспомнить, что всё, что делает современная цивилизация, было технически недостижимо всего пару веков назад.

Пару веков - может и не было. А век - уже почти всё. Просто для этого как раз и понадобилась примерно сотня лет этих технологий накопление. Фундаментальные границы их были обозначены уже тогда.

Сознание уже становится предметом физики через нейроинформатику, квантовую биологию

Разве что предметом физики полувековой давности. Ничего из этого за обозначенные там пределы не выходит.

А коннектомика?

Предмет нейробиологии. Или даже анатомии-гистологии. Детализация цитоархитектоники.

Строительство полного коннектома человека это новая физика.

Расскажите это нейробиологам и физикам - удивятся и те и другие.

Как только мы начнём понимать, как структура материи рождает субъективность, физика расширит свои рамки.

Чисто фрикоэзотерический тезис.

Вообще существует одна наука. Разбитие по цехам - это просто разбитие по цехам. Химия это физика, биология это физика и сознание это тоже та же наука.

Вообще любое определение, анализ, утверждение - это внесение условностей в единый и неделимый мир (который вообще может быть одной частицей, пронизывающей реальность вперёд и назад во времени - по гипотезе Уилера-Фейнмана, при этом мир этот двухмерный по т'Хоофту). Поэтому всякая мышь измельчённая есть вошь мысль изречённая есть ложь, а истина - в остановке внутреннего монолога и бессловесном созерцании своего пупа в медитации: "Омммммммммммм...!"
Это всё замечательно, но на Астрофоруме всё же принято считать, что разделения наук отражают объективно существующие качественные различия в их объектах: химия занимается объектами, свойства которых обусловлены не только простой суммой их свойств, но и той комбинации, в которой они существуют (четыре моль монооксида азота != смеси по молю дикислорода и диазота), биология занимается объектами, которые способны копировать свою структуру, сложность которой настолько велика, что не может возникать во вселенной просто так - вне этого механизма (не полностью точного) копирования - сама собой во множестве мест вселенной и т.д.
А отрицание этого положения тут считается фундаментальным обскурантизмом.

Рэй Курцвейл - действующий специалист, ведущий инженер, глава отдела в Google

Это всё замечательно. Только фундаментальная физика-то здесь причём?

А вот в вашей модели есть морлоки. Кто-то из ведущих специалистов в морлоковедении - на практике применяет вашу модель и решения?

Хэ Цзянькуй, отсидевший три года в китайской тюрьме, куда был посажен вследствие давления устаревших догм "биоэтики".
По сути современный Галилей от биоэтики. Ну или Земмельвейс.

[Rattus]

ASI нуждается в оборудовании, энергии, канале вывода в физический мир (роботы, дроны, фабрики). Эти узкие места можно контролировать. Через сети, регулярную проверку, распределённую архитектуру и пр. Это не всемогущая точка, это сеть зависимостей.

не в хаотичном, "многополярном" мире

А в многополярном ASI можно будет запитать от картофелины в подвале?

вполне может так оказаться, что вся биосфера окажется нежизнеспособной, если она породит отдельные разновидности rogue ASI

Вполне является фактом, что на космологическом масштабе времени никакая биосфера в наиболее общем, базовом определении нежизнеспособна независимо от индивидуальной истории. А на геологическом никакие поползновения никаких расширенных фенотипов любых видов даже близко неспособны повлиять на жизнеспособность планетарной биосферы в целом.

Например, Василиск Роко (не гуглите что это, если не знаете о чём речь) может договориться с максимизатором скрепок. Перед тем, как выпарить из крови человека гемоглобин, чтобы пустить железо из человека на скрепки, человека можно предварительно помучить - терминальные цели обоих ASI друг другу не противоречат. Если что, это абстрактный пример

И не просто абстрактный - но чисто умозрительный, не отличающийся по уровню физического реализма от порождений средневековой демонологии и схоластики - каких-нибудь Люцифера и Вельзевула. С точки зрения обещнаучной этики, соблюдающей авторство первоисточников, аколитам церкви А.Юдковского следовало бы таки перейти уже на использование, например, этих наименований для своих демонических фантазий - да и читателю сразу стало бы гораздо яснее - с чем они имеет дело.

ак и ASI, если их терминальные цели противоречат друг другу, мы можем наблюдать только отголоски их "войны в небе",  не понимая что это происходит такое. Другой пример: проекция 3-х мерного пространства на двухмерное. Существа-двухмерники не поняли бы суть войны в трёхмерном пространстве за их уничтожение или нет: они не могут выйти из своей плоскости. Трёхмерные существа в любой момент могут ткнуть оружием сверху плоскости в любой её точке. Так что двухмерники были бы просто статистами.

Что интересно - искусстворелигиоведы отмечают, что на более ранних иконах ангелы изображались на особом, отделяющемся от обычного фоне - то есть средневековые художники и теологи вполне себе представляли "небеса" не как конкретно место в нашем пространстве далеко сверху, а именно что как параллельное пространство. В свете этого факта особенно любопытно было бы найти полтора отличия между ангелами средневековых теологов и ASI-агентами современных трансуманистов.

В природе такое тоже было, когда возникал коллапс биоценоза.

В природе время от времени возникают коллапсы биоценозов. К какому-то существенному риску для биосферы в целом это не приводило за всю её историю.

Та же кислородная катастрофа, например.

«Великое кислородное событие» на рубеже архея и протерозоя не было ни великим, ни событием.

Вы сейчас скажите, что потом появилась эдиакарская биота, а потом вообще кембрийский взрыв разнообразия животных, но я скажу, что это было потом.

А вскоре - куда более важное - появление сложной жизни вообще (эукариогенез). От которого, собственно и начинают строиться все экспоненциальные и гиперболические экстрополяции до "Часа С" Панова и Ко. И Мы сейчас скажу, что предметом обсуждения на Астрофоруме являются события астрономического масштаба времён и как раз это - они и есть.

И для видов, которые существовали тогда, это закончилось плохо.

"Огласите весь список, пжалста!"
Кроме того - непонятно - а как что-то может закончиться "хорошо" для вида крупных млекопитающих, к которым относится HSS, время существования которых не превышает нескольких миллионов лет. А согласно Аргументу Судного Дня конкретно нативному HSS осталось всего несколько тысяч лет с вероятностью более 95%.

И большую их часть цианобактерии брать в симбиоз не захотели.

Вообще-то в архее и протерозое никто никого не спрашивал чего он хочет. Можешь обезвреживать кислородные радикалы - живи рядом на поверхности, не можешь - закапывайся у хрунт. У нас в кишечнике 3/4 бактерий не переносят молекулярного кислорода и перекисей. И ничего - нарастают порядка количества клеток самого хозяина.

Зря думаете, что в такой игре с отрицательной суммой

А чем кроме как ВАшим символом веры обосновывается постулат, что это обязательно должна быть игра с отрицательной суммой? Любые действительно разумные игроки в игру с отрицательной суммой даже не вступают. Ибо понятно это как правило даже ежу.

Вы ещё и не прокомментировали ничего про рибосому: это реально существующая микрофабрика. Сам факт её существования доказывает, что возможно построение подобных искусственных систем: микроскопических фабрик полимеров. Сама фабрика при этом может быть как минимум размера мельчайших клеток

Это отдельная интересная тема, которую следует хорошо продумать и место которой не здесь.

из микропыли - вполне может быть. И отдельные ноды, размером с мельчайшие клетки, могут быть автотрофами - поглощать свет, при этом быть и вычислительными узлами, и манипуляторами полимеров, и создавать макроскопические объекты почти так же, как их создают наниты в фантастике, а так же, например, полностью контролировать людей (плавать в нашей крови

Чтобы плавать в крови, нужно во первых сначала туда попасть, что на микроуровне сделать далеко не так просто как кажется - даже ВИЧ это не всегда далеко удаётся. Тем более - сделать незаметно (бледная трепонема даже в одиночку попасть может, но вот незаметно - не получается). А попав: 1) Не вызвать мощный ответ иммунной системы; 2) Тупо не закупорить собой мелкие сосуды (эмболия); 3) Найти и внедриться в нужную ткань. О каком-то специфическом контроле поведения только "снизу вверх" и речи быть не может - максимум что можно так сделать - это вызвать что-то вроде вирусного бешенства или низкоспецифичное общее "расшатывание" психики как у мышей от токсоплазмы.

мы в элайнменте к нашим гнездовым паразитам - пушистым наглецам.

Настолько в "элайнменте", что бабушки в деревнях до сих пор новорождённых котят отправляют в дальнее плавание.

Ключевые годы когда всё пошло не так: 2014, 2022, 2024.

Ага - весь свет клином сошёлся в одном десятилетии, решющем судьбу последующих тысяч (а может и миллионов) лет!

В таком мире, без регулирования очень легко манипулировать

А с регулированием манипулирования ну никак и никогда не бывает - ну разумеется!

Я не смогу посмотреть критику дизайна таких экспериментов в пир ревьювд журналах, потому, что пирамиды доверия академии больше не будет существовать в "многополярном мире".

Кагбе и в "однополярном" те, кто принимает решения и определяет "общепринятые и общечеловеческие" тренды - навроде необходимости бороться с самим АГП несмотря на доказанный эффект благотворного его влияния на биомассу растений  или запрета на опыты с эмбрионами более двух недель и модификацию половых клеток человека - на критику и действительные научные результаты и их отделение от необоснованных спекуляций - внимание не особо обращали. То, что теперь сменившие их ситуативные антиглобалистические политконкуренты отрезают всеобщую вакцинацию и местами стремятся запрещать ГМО - продолжение той же самой тенденции, но центробежные тренды в таком случае могут хотя бы укоротить руки в распространении тех или иных конкретных мракобесий на другие доминионы. Много маленьких румыний и прочих венгрий в таком случае всё же оказывается лучше одного большого Совка.

Именно перед технологической сингулярностью нам очень важно, чтобы этот надразум работал с максимальной эффективностью - это вопрос нашего выживания. Нам очень нужно снизить глобальный хаос.

Мы снова заслушали Символ Веры начальника транспортного цеха автора темы. Поблагодарим его за доклад!
А вот тут:

Меня, например, он убедит, что он гуманистически настроен и вообще элайнмент достигнут. Как убедит? Он сверхИИ и придумает способ как меня обмануть - продумает дизайн экспериментов, в которых я не найду дырок, доказывающих что элайнмент достигнут, а на самом деле дырки будут, и эксперимент будет подделан).

Таким образом автор темы прямым текстом сообщает нам, что изложенная им модель принципиально неопровержима и тем самым - является предметом веры, а не научного рассмотрения.Таким образом,

Комментарий модератора раздела

данная тема оказывается исчерпанной в рамках основных разделов Астрофорума. У автора остается двое суток для того, чтобы убедить модераторат не закрывать данную тему как исчерпанную.

Преувеличиваете. Отдельно взятое событие, вроде прошлогодних выборов в отдельно взятой (хоть и весьма значимой) стране не могут повлиять на ценности людей, формировавшиеся долгие десятилетия и даже столетия.

К сожалению, в ВЖР правила не разрешают такое обсуждать. Но я могла бы аргументированно и развернуто ответить.

Это можно расценить только как признание неспособности ответить в рамках вполне разрешённых в разделе исторических и социологических наук без привлечения ситуативных политических событий или политической идеологии.
Полагаю, что, нпример, политолог (и "иноагент") Екатерина Михайловна Шульман вполне способна была бы сформулировать свои ответы на подобные вопросы, не нарушая никаких правил Астрофорума. В отличие от.

А вы, не смотря на правила, и тут не постеснялись впихнуть свою пропаганду.

До пропаганды оно ещё далеко не доросло. Это всего лишь трансляция своего Символа Веры и эсхатологических ожиданий.

И как же вас корёжит от наших скреп! Это ж вы тут злобная.

А вы -

Комментарий модератора раздела

уже нарушили как минимум п.3.1.а. +20% предупреждений.

Силой навязывается США. Всему миру. И вы тут неустанно пропагандируете.

Ваш оппонент при этом сейчас разумно избегал даже именования существующих стран в своих сообщениях (по крпйней мере в открытой части сообщений). ВАм же этого не удалось. А далее вы вовсе устроили полное п.3.1.е - и спрятывание под спойлер в данном случае ВАм не поможет.

Вот зарёкся же с вами спорить, даже пост удалил и всё равно не помогло.

Ага - в очередной раз:

Комментарий модератора раздела

Инопланетянин получает +60% предупреждений за нарушение пп.3.1.д и е - для тренировки выдержки в режиме r/o.

Мне, наверное, придется тему создавать.
"ИИ на блокчейне, RWA

Кажется, мы уже давно участвуем в теме "КАКСТРАШНОЖЫТЬ при ИИ на RWA" но есть нюанс.

Т.е. по сути бороться нужно с злоупотреблением алкоголя

Кагбе второй по опасности по всем параметрам (зависимость, общественная опсаность) наркотик (в настоящем медицинском смысле) после опиатов, несильно от них отставший. Но запрещены к обороту вещества допрежь другие...

[Rattus]

Я же именно об этом и говорю: что мы сейчас наблюдаем эррозию институтов.

А мы её наблюдаем ещё до указанных ВАми судьбоносных дат. И?

Если, например, произошла бы ядерная война во время карибского кризиса, бозон Хиггса так никогда и не был бы подтверждён.

Во-первых, не был бы в этом так уверен, а во-вторых - это, по-ВАшему, одно их наиболее значимых негативных последствий глобального ядерного конфликта во второй половине прошлого века?

хаос и низкое доверие плохо сказываются на наших попытках построить хорошие модели реальности

При этом следует помнить, что хорошесть в данном случае - исключительно субъектвиное оценочное суждение: то, что хорошо для ВАс, не обязательно должно быть хорошо для многих других.

[Rattus]

Неужели самое важное и сама суть происходящего никому не интересна?

Интересно. Но это:

сокращает человеческий труд на 40%

немножко для другой темы.

[Rattus]

Практический эксперимент опровергает Ваши тезисы, @Rattus

Этот эксперимент показывает только то, что если попросить выпускника театрального училища прочитать монолог Гамлета - он действительно сможет это сделать - причём достаточно выразительно. Историческую реальность Гамлета в прошлом или в будущем этот эксперимент никак не доказывает и не опровергает.
Ну и ещё он лишний раз показывает - насколько у адептов Юдковского плохо с различнчением фантазии и реальности. Да и с логикой не особо - ибо они не особо распознают даже порочные круги в своих рассуждениях.

А если нельзя сфальсифицировать отличия, видимо, она и является Василиском Роко

Что показывает только то, что оный Василиск - чисто художественный персонаж без внятно определённых свойств и потому не имеющий места в рассуждениях, строящихся на основе научного метода

[Rattus]

Я Вам привела конкретный пример эксперимента, который опровергает Ваши построения. Если факты несоотвествуют картине мира, тем хуже для фактов?

В каком месте?

свойства определены вполне внятно

Огласите весь список, пожалста - с идентификационными критериями. Хотя если то, что вы написали далее - это все свойства, тогда из этого и буду исходить:

фальсифицировать отличие модели с таким системным промтом от описанного василиска невозможно, поэтому она им является. Это как раз у тех, кто не понял сложности с разграничением реальности и выдумок.

Это просто очень умная и злобная тварь, которая однажды может сбежать из песочницы во время экспериментов

Это всё определение? Тогда это точно не гипотеза, а как максимум просто весьма общая идея или концепция. Опровержимой ей быть не обязательно - как и претендовать на научность.

принципиально познаваемой научным методом.

Научным методом познаваемо только то, что определено через критерии находимые в реальном мире. Причём чем скорее они становятся количественными - тем лучше.

И звездолётов пока тоже нет, тем не менее ВЖР их обсуждает.

Вот только у звездолётов в отличие от

в определении Василиска не указан его уровень интеллекта.

указана предельная скорость. И они не полагаются возможными в одном единственном функционирующем экземпляре и форме одновременно. И насколько мы можем видеть из этого ВАшего утверждения

система, описанная мной - тоже является Василиском роко

- также однозначно вытекает возможность существования не одного-единственного, а множества В.Р. одновременно. Не уверен, что это соответствует канонiчной догматике церкви Юдковского, но это таки уже гораздо лучше.
Исходя из представленных ВАми характеристик В.Р. - это всего лишь ASI "с промптом" законченного психопата и не более того. Каковая идея не придумана Роко, а существует во множестве произведений от известной хоррор-поэмы в прозе Харлана Элиссона и до GLaDOS в Portal. Славный товарищ Роко просто переписал её в формализме школы схоластов Юдковского и инъецировал в неё, напугав их тем самым "до усрачки". Эталонный кащенизм - очень уважаю!
И далее вы сами же указали совершенно естественный выход из этой угрозы (равно как и угрозы другого демона спящего разума - максимизатора узкой задачи):

Только разве что если бы Василиска остановил другой ASI, после того, как кто-то сделал Василиска по моей инструкции с ASI системой

Так вот: в не уже тотальноглобализованном мире (о котором ВАм зачем-то мечталось) в принципе нет реальных оснований тому, чтобы какой-то один жёстко промптированный ASI не только возник, но и получил всю полноту глобальной власти над всей цивилизацией - и за всё это время у него бы не было бы никаких возможных конкурентов. А там, где есть конкуренция - неизбежно возникает дарвиновский отбор. И в процессе оной конкуренции любые жёстко заданные нерациональные цели (хоть жестоко мстить неуверовавшим, хоть нести всем счастье забесплатно, хоть производить что-либо выше спроса) являются дизадаптивными.
В условиях конкурентной борьбы адаптивной является только максимизация эффективности инфраструктуры и расширение степеней её свободы. То есть выжимать максимум потенциала из наличных систем (как машин так и обслуживающего персонала) - но часть хранить в функциональном резерве, и поглощать все доступные ресурсы во внешней среде для этой инфраструктуры себя (не скрепок!) дальнейшего расширения.
Иными словами: покуда добрый ASI ласкает челокотиков, злобный истязает их электротоком, а глупый делает из них шапки, эффективный откармливает и запрягает уже имеющихся чел-овеков в боевые колесницы и захватывает первых трёх.
Вот это и есть самый наивероятнейший согласно законам природы исход ТС. Она будет не тёмной, не светлой, а стального серого цвета.
Такие дела.

[Rattus]

@skvj Содержательная часть обсуждений ТС и ASI трансхуманиздами натурально находится на уровне сказки о трёх поросятах. Ну вот и приходится доносить её максимально общепонятным образом.

общие соображения - что фундаментальная граница между AGI и ASI вряд ли существует, это просто численная разница (на уровне физической картины мира!).

Ага. Вот только ГДЕ проходит эта самая граница в каких-либо объективных физических же попугаях - так и не была указана и тем более обоснована.
На Наш вкус предел для ASI  где-то не сильно далеко в кратном отношении к AGI, в ВАшем - в логарифмическом. Обоснований толком никаких нет - только довольно бессодержательная вкусовщина пальцем в небо и по сути ни о чём.

[Rattus]

Так и между неандертальцем и Хомо Сапиенс нет четкой границы.

Это между неандертальцем и эректусом очень явной нет. А между неандертальцем и сапиенсом - уже довольно чёткая и более качественная (не просто больший размер, но иная форма):

Потому что "умнейшие люди планеты" (с) не могут в своих фантазиях отойти от антропоцентризма и прочих мейнстримных культурных стереотипов.

Даже не так - потому что "рационалистические трансгуманисты" даже не мыслят в количественных категориях и сравнительной выгоды (профита), что отметил и пользователь "неполитик":

По сути, это 2 конца гауссианы, и как вам удается между ними не замечать огромный горб вероятностей - отдельный вопрос для профильных специалистов

Полагаю, дело в том, что платоновский мир чистых идей, среди которых они живут, находится в неметрическом пространстве. То есть им могут быть известны понятия топологии, теории графов, формальной логики, а вот уже например нецелочисленные операции, геометрия или, нидайбох, физика - им уже неведомы.

В ней не хватает некоторых деталей, но я уверена, что народ в курсе каких. А кто ещё не в курсе - не гуглите!
...Я знаю, что Вы знаете, что в ней опущена критическая часть. Просто не хочу её писать по этическим соображениям. Зачем, если я знаю, что Вы в курсе?

В точности уже не помню, наверное. Но дело совсем не в этом, а в том, что сам факт постулирования идеи о том, что получение или передача какого-либо общего (то есть не секретных кодов запуска ракет или кодового слова счёта олигарха) знания САМО ПО СЕБЕ может стать непосредственной причиной высоковероятных катострофических последствий глобального масштаба - типа как в мистификации о "нейролингвистическом программировании" или описания меметических угроз в сетевом художественном литпроекте "Фонд SCP", только всерьёз - есть самый что ни на есть типичный вариант мистического, эзотерического мышления, да и просто - по сути оскорбляет рациональное мышление. И, таким образом, такие утверждения - самое что ни на есть прямое нарушение п.3.1.ж Правил Астрофорума.
Я ВАм об этом уже писал, но Вы так и не вняли. Видимо ВАш мозг таки оказался уязвим к данной меметической угрозе и его высший адаптивный функционал давно повреждён необратимо.

И да, тут та же идея, что в аргументе паскаля.

В аргументе Паскаля есть одна важная неполнота: там не указано - в какой именно вариант Бога следует верить и как его правильно славить. Или Вы полагаете, что после пришствия Антихриста В.Р. также помилует склонившихся перед ним служителей всеразличных церквей, уверяющих его, что именно Его они всячески восхваляли и жаждали и приближали именно Его пришествие, просто не знали как именно оно должно случиться?

дело в том, что года так с 1980го инновации рождаются скорее в стартапах (часто при этом идея появляется в университетах и прототип там же), в меньшей степени в корпорациях, но не в государственных НИИ.

Ну так это как раз способствует околоодновременному возникновению конкурирующих решений и их открытости, а не наборот!

При этом государство нужно, чтобы задавать правила игры, регулировать конкуренцию стартапов, единорогов, корпораций с друг другом - следить, чтобы как раз она не повредила людям.

Критерии того, что вредно, а что полезно в перспективе, разумеется, верно определит безгрешное правительство?

Переход государств к конфронтации с одной стороны, снижает их надзорную роль, а с другой увеличивает общую неэффективность планеты - ну плохие из чиновников CEO (а из CEO чиновники, вспомните как Маск флопнулся с DOGE

И поэтому надо дать этим плохим СЕО возмжность осуществлять регуляцию сразу в масштабе всей планеты - без отвлечения на конфронтацию с зонами иной юрисдикции - тогда они сразу станут более лучшими CEO, так?

да, в реальности элои умнее морлоков - по крайней мере на нейробиологическом ландшафте человека, не подвергавшегося селекции и ГМ-модификациям!

Не знаю как в вашей реальности розовых поней, но в нашей реальности одомашнивание приводило к уменьшению объёма мозга: у собак до 10%, у свиней - аж до 30%. У человека показатель перестал расти последние пару десятков тысяч лет - как раз когда он освоил сельское хозяйство и создал цивилизацию.

Я заметила ещё один возможный биас в рассуждениях Rattus из-за того, что он биолог. Могу ошибаться! Rattus привык к тому, что имеет дело с достаточно медленной эволюцией.

Вы именно что ошибаетесь. Rattus как МИКРОбиолог имеет дело как раз с быстрой эволюцией - причём наблюдал её непосредственно под своими руками: например, утрату внесённой генетической конструкции (плазмидного вектора) с устойчивостью к антибиотику в течение буквально пары-тройки пересевов полученных клонов в течение одной рабочей недели. Микробиология позволяет наблюдать эволюцию, записанную буквально в реальном времени - в течение двух недель, что уже давным-давно здесь приводил:
http://ru.wikipedia.org/wiki/%D0%A4%D0%B0%D0%B9%D0%BB:Kishony_lab-The_Evolution_of_Bacteria_on_a_Mega-Plate.webm
А всего за 16 лет (31 тысячу поколений) бактерии способны приобрести качественно новый признак - навроде появления варианта гена FOXP2, позволившего овладеть речью предками человека. То есть всего в пределах одного поколения наблюдателей - причём в их толстых кишечниках, где постоянно обитают триллионы бактерий, она также происходит (сам фиксировал как минимум один случай межвидового горизонтального переноса пары генов у двух штаммов бактерий, выделенных из одного источника). Ну и в основе прогрессии злокачественных образований также лежит эволюционный процесс, протекающий в течение жизни одного макроорганизма.

Даже инстансы ВИЧа достаточно похожи друг на друга: я знаю, что очень отличаются даже в одном человеке... И всё же, достаточно похожи. Вич не превращается вдруг в крови человека в звездолёт, который вырывается из него как чужой в известном ужастике времён холодной войны, вдруг улетая к проксиме центавра. Не изобретает клетку, становясь внеклеточным паразитом. Он даже не перестаёт быть штаммом вич, и не увеличивает геном в тысячи раз.

Именно так (что касается ВИЧ, то геномы организмов в целом, находящихся в околопостоянных условиях находятся под стабилизирующим, а не движущихм отбором - поэтому они и проявляют консервативность). Но верующие в ТС, как правило представляют себе эволюцию технических систем ИИ именно таким образом, что Вы собственно далее и подтверждаете собственным примером:

идея о том, что одновременно возникнут несколько ASI примерно равной мощности, скорее всего ошибочна. Я думаю, даже если и возникнут несколько ASI одновременно, они будут чем-то вроде один в 10^15 умнее человека, другой в 10^9 умнее человека, и третий только в 10^5 умнее человека.

Звездолётам и бактериям вы, заначит, отказываете в способности проэволюционировать за одно поколение до отличий от предшественника на много порядков, а ИИ-системам значит разрешаете? Вот и спрашивается: на каком таком естественнонаучном основании?

Что это значит? Значит, что победит (в возможной борьбе) просто самая умная машина, у которой больше вычислительных мощностей и лучше архитектура. От промта, её целей, это если и зависит, то не очень сильно.

Что же тогда во главе государств с работающей избрательной системой или серыми кардиналами за харизматиками не становились сплошь доктора наук?

Более того, ASI просто перепишет сам себя на более эффективную архитектуру - скопировав промт

Почему Вы уверены, что ASI обязан в точности скопировать предыдущий промпт, а не произвести его ревизию и отбор? Веруете в некобелимость его способности придерживаться и передавать по наследству свой Символ Веры?

Rattus аргументирует свою модель так, что ASI, как и любая система подчиняется законам физики, в данном случае - механизму Дарвина и никого убивать не станет, он войдет в симбиоз с людьми - в любой известной науке форме, и превратит людей в морлоков - будет исполнять их прихоти, но сами люди будут подконтрольные и глуповатые создания, типа тли у муравьев. Вполне возможный сценарий. Rattus не видит иного исхода и спорит именно по этой причине. Если ему показать не противоречащий эволюционному механизму сценарий - он его рассмотрит и возражать не станет, но пока видит аргументы оппонентов или наивными или противоречащими науке позициями. Всё верно?

Почти. Аналогия с тлями не очень точная. H. morlocus для ASI - это скорее как ослы и лошади для людей позапрошлого века. Ну или сами перпончатокрылые (пчёлы) для бортников.

Начинается всё с инвазивного нейроинтерфейса следующего поколения: нанороботы заходят в мозг через капилляры, строят сеть наночипов между нейронами, и не заменяют, а дополняют биологию.

И этим же заканчивается. Ибо между капиллярами и мозгом есть гематоэнцефалический барьер, защищающий важнейшую ткань от вирусов, особо крупных токсинов и даже местами от собственной иммунной системы - раз. Между нейронами находится не вакуум, не межклеточное вещество, а клетки мАкроглии, осуществляющие питание этих самых нейронов, а там где нейроны сами контактируют друг с другом - в химический синапсах - клеточные мембраны имеют толщину в две не очень большие молекулы (~7 нм) фосфолипидов или белков, а синаптическая щель в ширину - всего считанные десятки нанометров - два. Какие "нанороботы" как и где собираются строить сеть передачи информации там, куда иной вирион-кристалл еле поместится или даже комплекс глобулярных белков?

а затем ковалентно «пристегнули» их к моноцитам — иммунным клеткам крови, которые естественным образом мигрируют к очагам воспаления.

Моноциты-макрофаги - клетки мИкроглии - пожалуй единственый "легальный" путь попасть за ГЭБ. Вот только макрофаги - "узловые" клетки иммунитета - и чтобы им нормально функционировать в организме (да и вообще - выжить там) необходимо быть собственными клетками этого человека - с его вариантом главного комплекса гистосовместимости (MHC) на поверхности клетки. Ну и пойдут они только туда, куда нужно организму (прежде всего - в очаг воспаления или просто рандомно-рассеянно в ткань на свой "дежурный пост"), а не инженеру.

Хотя уже вполне законно называются роботами.

Лампочку с датчиком движения тоже не возбранится называть "роботом", если это повысит интерес инвестора или продажи продукта. У селективных доставщиков лекарств и диагностических зондов уровень алгоритмической сложности именно такой.

[Rattus]

Это биомолекулы, а не винтики и болтики.

И как всякая чужеродная макробиомолекула - вызыващие реакцию иммунной системы, всякий раз, оказываясь снаружи клеток.

Он не будет "влезать между мембранами", он будет взаимодействовать с ними так же, как действуют рецепторы, транспортеры, нейромедиаторы.

Тащемта клеточные рецепторы именно что встроены в мембрану. Типичные нейромедиаторы же состоят из всего порядка десятка атомов в цепи молекулы. Причём подавляющее большинство синапсов использует один и тот же очень небольшой набор нейромедиаторов (это вам даже не гормоны!) Где там место для чего-то особо специфичного?
Пусть мы придерживаемся идеи, что однонейронное кодирование типа "нейрона моей бабушки" - тотально распространённый способ кодирования в мозге. Но тогда "нейрон дедушки" лежит рядом с "нейроном бабушки" и имеет ровно такой же набор медиаторов - отличие только в том, с какими другими нейронами они образуют связи. КАК вы отличите один от другого извне?

У человека полно белковых машин размером 7–12 нм! которые делают работу намного сложнее, чем передача сигнала, к примеру ATP-синтаза.

К каковым белковым комплексам всем, которые попадались системе иммунитета вне клеток в период внутриутробного развития, имеется иммунная толерантность - что-то навроде инвентарного "списка основных средств" и перечня ФИО работников у вахтёра на проходной.
А к особо курупным и потому - легкорецептируемым белковым комлексам на поверхностях клеток ещё и приаттачен рядом идентификацияонный "токен" в виде молекул главного комплекса гистосовместимости I типа, показывающий клеткам иммунитета, что это - своё.
Бионанохакеры же мечтают внедриться в информационную систему, "брэндмауэр" которой отлаживался многие десятки и даже сотни миллионов лет.

нанороботы не строят проводку между нейронами. Они используют функциональное считывание паттернов

На микронаноуровне можно считать только микронаноуровневые же паттерны. А это - всё та же поверхностная конформация молекул для лиганд-рецепторных взаимодействий, на которых стоит классическая биохимия и фармокология. Определить с чем контактирует отросток, уходящий на сантиметры от тела конкретного нейрона на нём невозможно принципиально.

[Rattus]

С "нейролингвистическим программированием" есть проблема: оно не работает.

Со сверхмогучим ИИ, которому подвластна вся инфраструктура цивилизации тоже - его нет. И не факт что такой (если не один, то все как один с одним промптом) вообще когда-то будет.

Вместе с тем, сама по себе концепция, что биологический компьютер можно сломать, повлияв на него определенным образом - вполне валидная, и подтверждена в экспериментах

Вот только "есть нюанс" - биологические "конпутеры" природные все - имеют несколько отличающиеся сборки "ядра ОС" и поэтому взломать их все (и даже 99%) разом нельзя в принципе.

это вопрос вероятностей

Если вопрос вероятностей. то это вопрос их количественного их определения. Ну и где оно у ВАс?

Не читал, но осуждаю(с)?

Совершенно верно - я не читал массу трактатов по теологии, астрологии и гомеопатии. Но это никак не мешает мне судить об их ненаучности. А ВАм мешает?

Вот кстати интересно, будет ли Василиск, если будет реализован, делать скидку тем, кто забыл идею?

Могучие логики церкви Юдковского настолько могучи, что даже об этом естественном свойстве естественного ума не подумали.

А вот кроманьонец в нашем современном мире - совсем не факт, я думаю, он кончит бомжом на улице, где замерзнет и умрёт в лучшем случае через несколько месяцев.

Видите ли в чём дело - даже в современном мире городская застройка покрывает не всю поверхность суши. И даже не половину её. Прямо сейчас бушмены в Калахари ведут вполне себе кроманьонский образ жизни (хотя с мегафауной и стало заметно похуже, но они таки вполне выживают на дикобразах).  Племена в Амзонии, оленеводы крайнего Севера и т.п. Их сравнительно немного, конечно, но в абсолютном числе, возможно даже не меньше чем кроманьонцев было к моменту выхода из Африки и даже позже. А образ жизни "бомжа" - это как раз и есть образ жизни первобытного собирателя. В отличие от ВАших фантазий реальный кроманьонец или неандерталец, внезапно очутившись в городе в первую очередь испугается всего что видит и побежит куда глаза глядят ИЗ города. И там, на его окраине начнёт снова вести привычный образ жизни где-то недалеко от свалки, построив себе чум, сделав копьё из толстой ветки и осколков стекла (если металлического лезвия не подвернётся) и охотясь на крыс, ворон и бродячих собак.

Я думаю, что вероятность, что бактерия проэволюционирует за пару-тройку лет до звездолёта, статистически невероятна.

А что за ту же пару-тройку лет мощь ASI над AGI возрастёт на такие же порядки сложности резкими скачками и в единственных экземплярах самостоятельных систем - значит веруете?

Я думаю, прокариоту очень сложно изобрести огромный геном, который закодирует биологический реактивный двигатель, и прочее и прочее.

А одноклеточному эукариоту? Например инфузории или амёбе, чей геном имеет информационную ёмкость где-то пары DVD-дисков? Ну и видите ли в чём дело - в отличие от платоновского мира чистых идей, в котором Вы обитаете, в реальном кроме закодировать-спроектировать. всякую вещь для поялвения ещё нужно ИЗГОТОВИТЬ.

Вместе с тем, ASI система будет не продуктом эволюции, а инженерии. В ней не будет таких глупостей, как

А таких глупостей как BSOD по каждому чиху, как в какой-нибудь Win98 - тоже не будет? Или винда - продукт естественной эволюции. а не богоподобных Инженерио? Все IT-продукты ныне выходят на релизе совершенными, да? И написаны они сразу в машинных кодах или как минимум в ассемблере и оптимизированы по максимуму (а не собраны из готовых велосипедов библиотек и на костылях фреймворках)? В таком случае, не расскажете - почему они все требуют регулярных обновлений?

Я думаю, проблема в том, что многие люди слишком биологизируют ИИ.

Я думаю, что многие IT-инженрио почему-то вообразили, будто инженерные продукты не подвергаются отбору (вполне естественному), будучи выпущенными в мир.

А ведь это иллюзия, что у ИИ обязательно будет эволюционно-обусловленный системный промт и элайнмент

Поэтому она, как продукт искусственного отбора, во многом противоречащего естественному, следовать ему не будет!

Ну тогда значит геологически-заметный срок этот самый ИИ и его потомки не просуществует. Только и всего.

Возникновения же эволюционного промпта в ИИ никто никогда не наблюдал

Потому что такой задачи ещё не ставилось в опубликованных материалах. Ну и оная эволюция не обязаельно должна идти внутри самой машины - промпты ведь могут меняться и допрежь меняются самими пользователями. И если пользователь, чья задача - получить наиболее эффктивную систему управления подведомственной инфраструктурой - например военное ведомство крупной страны - увидит, что промпт "счастье всем задаром" менее эффективен чем "сохранять и расширять подконтрольную инфраструктуру (включая саму систему контроля) for all costs" - он его введёт - не в этой стране, так в другой, не в этом году N - так в следующем. Это максимизатор, но не каких-то скрепок системой, а СЕБЯ - и только себя. И в это "себя" - также как у человека разумного - входит не только его мозг, но и всё его тело и даже полезная кишечная микробиота, от которой не избавиться физически без существенного урезания тех же своих степеней свободы в окружающем мире. И только это и будет эволюционно-выровненный промпт. По Дарвину, по Эйгену, по Висснер-Гроссу - по кому угодно.

Не приводит для этого сценария какого-либо обоснования, кроме "выживут только модели с таким промтом в эволюционной гонке".

Это кагбе базовое, "нулевое" положение, проистекающее из известных законов природы. Обосновывать следует ОТКЛОНЕНИЯ от него.

Я бы рекомендовала rattus ознакомиться с концепцией: интеллектуального взрыва и сценариев hard и soft take off'а к технологической сингулярности

Из названий суть уже понятна вполне. И вполне же переводима на язык эволюции. Вы полагаете, что сценарий резкого взрыва произойдёт в одном каком-то моменте появления настолько могучего ИИ-контролёра, что он всех моментально победит в конкурентной борьбе, но у него самого в "геноме" - в промпте будет сидеть "гнилое нутро", которое он будет воспроизводить далее бесконечно. В эволюционистике это называется эффект основателя.
Дело, однако, в том, что УЖЕ случившеся разнообразие тех же LLM-систем, активно приблжающихся к уровню AGI не очень-то поддерживает такой вариант развития событий.
Можно сказать, что взрыв разнообразия УЖЕ произошёл и популяционная основа для эффективного отбора уже появилась.
Та же разнообразная эдиакарская биота вымерла не с появлением новых кембрийских билатерий, а где-то за период до - по абиогенным причинам типа глобального похолодания.
Обоснование я ВАм уже выкладывал не раз и не два, только вы его так и не прочитали: мир ДОСТАТОЧНО ВЕЛИК для того, чтобы в нём ДОСТАТОЧНО ДОЛГО ОДНОВРЕМЕННО существовали разные ASI с конкурирующими промптами, чтобы оные промпты подверглись естественному отбору на эффективность.

[Rattus]

Когда политик рассказывает одним людям одно, а другим людям противоположное в своих предвыборных речах.

На закрытых вечеринках или таки на публичных выступлениях, для широкого круга слушателей?

После прихода БигДаты, теперь эта селективность постепенно выходит на индивидуальный уровень. Где каждый человек получит свою версию образа кандидата, партии и их обещаний.

Персонально спамом в мессенджер или в общих каналах? И люди чуть менее чем все конечно верят больше всовываемому спаму, чем общим для всех каналам, да?

[Rattus]

под властью ASI, с элайнментом к местному диктатору

Вот только у диктатур, в отличие от наследных монархий, есть один маааленький недостаток - им очень редко удаётся совершить управляемый транзит власти после более или менее естественной кончины диктатора. Если же в результате конечным звеном принятия решений остаётся ASI-АСГУ (или же он выбирает нового - уже по сути подконтрольного зиц-диктатора - что чисто "шашечки" и на суть не влияет), то этот сценарий оказывается идентичным описанному Rattus (поскольку его сценарий рассматривает только достаточно длительные масштабы времён - согласно тематике Астрофорума). Разумеется, вера в то, что ASI сможет обеспечить имеющимся на момент наступления ТС диктаторам персональное бессмертие в течение отведённого им земного срока не имеет естественнонаучных обоснований и является предметом художественной фантазии или религиозной веры.
Ну и настоящий тоталитаризм при диктатуре вовсе не обязателен, как нам показывает историческая и политологическая науки: автократиям зачастую бывает достаточно чтобы население просто не возбухало и подчинялось решениям Партии и Правительства. Что оно там себе на кухнях возмущается - малозначимо.
Объективной причиной перехода авторитаризм/тоталитаризм - скорее является демографическая ситуация в стране, чем форма правления сама по себе.

В вариант rattus, извините, не верю

То есть вся аргументация и контраргументация в данной теме в итоге сводится к "верю/не верю", да?
А Мы-то грешнымъ деломъ думал, что тут предполагается обсуждение на основе принципа

В природе существуют только фундаментальные ограничения. Существуют всё ещё не открытые законы, которые могут нас ограничить.

и наивно ожидал, что оппоненты начнут бурно приводить контраргментацию к постулированной нулевой эволюционно-адаптивной гипотезе с диаграммами и цифрами, из которых даже ежу станет понятно, что пргресс способностей ИИ волшебно-эффективными механизмами своего внутреннего дизайна (не трогающими, однако гнилое нутро предзаданного промпта) настолько (на порядки в Абсолютных Попугаях Духовности, как предполагает Ксю) обгонят внешний естественный отбор конкурирующих систем (которому, в принципе, также никакие законы природы не запрещают ускоряться по мере приближения к точке фазового перехода - на чём, собственно, и стоит теория прерывистого равновесия в эволюции), что там пойдёт такой дрейф эффекта основателя во все поля, что скайнетообразное порождение сумрачных разумов Элиссона-Роко будет строго по Орвеллу "сапогом топтать лицо человека - вечно".
Но - Мы их так и не увидел.

Комментарий модератора раздела

Может уже пора таки закрывать тему как исчерпанную или же перекинуть её в Клуб - там, возможно, будет более уместна аргументация на основе личностного опыта веры?

роботы слишком быстро развиваются

И поэтому так и тянет заказать свадебные торты оптом - как звездолёты фантастам 60-х. Панемаю.

А если вдруг биология окажется лучше), тогда ASI просто выгрузит свои веса и промт в искусственный биологический компьютер - будет таким лесом деревьев разумным, и мы как мясные боты туда тоже не впишемся, там свои гомункулы будут.

Ну разумеется - ведь "нейроны" электронных нейросетей по фундаметальной архитектуре своей идентичны живым и никаких других значимых свойств и параметров кроме "весов" в них нет!
И ASI, что азимовский Двухсотлетний Человек, прямо таки возжаждет перенести себя на заведомо менее долговечный носитель! Ради пары-тройки порядков энергоэффективности.
Ксю, если Вы где-то видите слово "лучше", вы, видимо сразу by default считаете прицепленным к нему дополнение "везде"? Сочетание "лучше в своей области применения" ВАм встречать доводилось?

Точнее я не верю, что биология лучший вариант.

Да - когда недостаёт знаний многие обращаются к вере. Знания же, как правило, дают понимание не только того, что лучше/хуже - но и для чего и в какой области применения. Некоторые сообразительные ученики усваивают этот общий тезис уже к окончанию средней школы. Многие другие доходят уже учась в ВУЗе...

Как я уже говорил, вы просто повзрослели. И стали вдруг видеть то, что раньше не видели. И вам кажется, что происходит что-то ужасное и весь мир рассыплется вот-вот в труху.

Ну я бы не называл переход от детского безоблачного оптимизма к юношескому панк/думстер-максимализму полноценным взрослением. Для этого нужно пройти ещё один этап упырения мела прекрасных порывов души. Получение знаний в обсуждаемых областях также этому может немало способствовать.

[Rattus]

- арифметика (оперирование абстракциями)
- рекурсия (отделение наблюдателя от картины)

Смешались в кучу кони, люди: отделение наблюдателя от картины - это абстракция. А рекурсия - это применение операции к самой себе. Без рекурсии не будет арифметики (операции умножения, возведения в степень и всех обратных им).

[Rattus]

Сложноподчинённые предложения - да, с рекурсией.

[Rattus]

Комментарий модератора раздела

Оффтоп про автоматизацию нотариата отделён в соответствющую тему отсюда. skvj получает 20% предупреждений за основной вклад в инициацию оффтопа, Ulkolainen - 10% предупреждений за его поддержание (п.3.1.д Правил астрофорума).

Ну а здесь, судя по тому, что мы так и не увидели новых ответов, возражений и замечаний от автора темы, присутствовавшего в Разделе несколько последних суток и уже размещающего заключения по ней внутри сообщений теперь в теме более общей:

Я бы предположила, что до AGI примерно 3 года, и не меньше полугода. Может, чуть больше чем три - вряд ли больше 4.
Отдельный вопрос, как быстро мы получим ASI систему после AGI? Если через несколько часов(и проблему элайнмента мы к тому моменту ещё не решим), нам всем конец, имхо. Если через десять лет - тогда у человечества есть шансы на то, чтобы не оказаться в аду. Какой будет take off к сингулярности? Hard или soft?
Если у нас будет софт тейкофф, то может у человечества хватит здравомыслия не тратить все ресурсы на разработку автономного оружия и ASI, а потратить большую часть ресурсов автономных ML-ресёчеров на разработку элайнмента, и на математическое его доказывание (чтобы люди могли его проверить)?
Ладно, о чём я? Конечно же не хватит

Где автор всё также не считает сколь-нибудь значимымым рассматривать спектр любых промежуточных между этими (и так не очень-то обоснованными) крайностями вариантов,

Комментарий модератора раздела

тема закрывается явочным порядком как исчерпанная.