Посттехносингулярный мир и искусственный суперинтеллект: как он будет выглядеть?

[Rattus]

Вообще концепция сингулярности предполагает что с появлением ИИ сильнее человеческого прогресс рванет вперед с запредельной скоростью.

Не во всех интертрепациях. Исходное понятие сингулярности - это просто точка, за которой прогноз дальнейшего поведения системы из известных нам тенденций становится невозможен. Понятное дело, что беспредельная скорость прогресса невозможна чисто физически. Но что будет с цивилизацией, обществом за этой некоторой точкой, предсказать какими-то более или менее простыми экстраполяциями оказывается "затруднительно".

Мне кажется что сверхразумный ИИ - это по большей части завышенные ожидания.

Сверхразумный - вовсе нет. А вот сверхмогучий - да.

[Rattus]

Любой существующий сейчас во вселенной сверхразум понимает, что контакты с другим сверхразумом в галактике в плане научных перспектив совершенно бессмысленны ибо плоды размышлений всех сверхразумов идентичны?

Да - и это уже не раз обсуждалось в Разделе. Поскольку фундаментальные законы, открытые в одной звёздной системе также едины для всех остальных систем в галактике и законы, действующие на уровне галактики, также едины для всех галактик в наблюдаемой области согласно всем полученным к настоящему моменту данным (что закреплено даже в Тезаурусе Правил ВЖР), то и истинное знание о них также должно быть на всех одним и рано или поздно открываемым всеми, кто достаточно упорен в изучении природы.

Так что гуманитарные научные данные - будут отличаться.

Как и конкретные геологические и биоэволюционные для каждой планеты и биосферы соответственно. Но массив относительно сырых данных сам по себе не особенно полезен. Плюс пропускная способность каналов связи на межзвёздных расстояниях не очень-то позволит слать гигабайты сырых данных.

Единственная цель размножения - это естественный отбор.

А путь самурая - это смерть. К биологической и прочим наукам эти сентенции равно не имеют отношения.

Но, - естественный отбор уже не актуален.

Ну-ну - упраздняем сбор медицинской статистики за ненадобностью: ведь выживаемость новорожденных уже давно - 100%, дети и молодые люди также выздоравливают на 100% как мухи, если попадают в больницу.
 

У ИИ таких проблем не будет вообще. Он вечен и способен к само-перепроектированию и улучшению.

Поскольку сделан из чистого унобтаниума и легирован философским камнем, а к нему напрямую подключены из того же сделанные роботы со скатертями-самобранками.

Человек очень капризное устройство, которое требует постоянно обслуживания, не подлежит дешевому ремонту, требует минимум 10 лет с момента появления на свет, прежде чем сможет выполнять хоть какую-то работу и т.д. В общем, роботам он совсем не конкурент.

Будто роботы с универсальными и точными манипуляторами сильно менее капризны и дёшевы в производстве и обслуживании! Человеку разве нужен сверхчистый кремний и килограммы цветных металлов для воспроизводства? А контроллеры и точные манипуляторы роботов без них невозможны. Есть манипуляторы, которые служат без ремонта и смазки несколько десятилетий к ряду? А человеческие конечности именно таковы.

Отличительная особенность что AGi что ASI - они безинициативны, у них нет и  не может быть собственных желаний. Они только выполняют желания людей.

https://3dnews.ru/1111122/chatgpt-neogidanno-zagovoril-pervim-no-openai-operativno-ustranila-sboy

Комментарий модератора раздела

Оффтоп отделён в соответствующие темы.

[Rattus]

Если вкратце, то здесь много обещаний, много лукавства и пока нет больших успехов и в решении собственно прикладных задач - предсказании аминокислотной последовательности для белка нужной структуры.

а можно, напротив, исходя из желаемой трехмерной структуры, узнать, какая у нее должна быть аминокислотная последовательность.

Решили неукоснительно соблюсти взаимоисключающие параграфы?
В целом дело может и правда сейчас обстоит подобным образом, но то, как об этом написано тут, меня, например, совершенно не удовлетовряет. Например:

У Top7 был один недостаток: абсолютно новый белок ничего не умел делать.

Что значит "ничего"? Доказанное полное отсутствие любой каталитической активности и специфичного связывания других биомакромолекул или таки только известных активностей в отношении какого-то пусть большого, но всё же ограниченного набора субстратов? И даже если белок - не фермент, не ингибитор, не опсонин, не мембранный канал - это разве полный список типов функций глобулярных или мембранных белков? Неопределённость значения применяемого квантора всеобщности есть верный признак злокачественного журнализма.

Но в науке ошибки нейросетей, прогнозирующих, скажем, невозможные структуры белков, непростительны — в соперниках у алгоритма объективная истина.

И что? Постановка каждого проверяющего эксперимента стоит как запуск космонавтов на МКС что ли? А без такой системы отбора кандидатов на искомую структуру/функцию проходил не менее эффективно что ли? А если нет - то в чём тут претензия?

Но как эти структуры трансформируются в функцию? Насколько уверенно белок с определенной структурой превращается в белок с определенной функцией?

Здесь ещё вопрос в том - а какие собственно функции вам нужны? Разнообразие биологических функций белков может быть больше чем звёзд в галактике - что вам конкретно нужно от системы предсказания?

Даже к дизайну с помощью искусственного интеллекта сериновых протеаз, одного из самых изученных семейства ферментов, лаборатория Дэвида Бейкера, одного из лауреатов, подобралась только-только.

Вот это - уже конкретика. Здесь хоть что-то становится ясно, но всё равно этого очень мало для понимания целостной картины современных возможностей.

Это не центральная проблема биологии.

Также как обыграть человека в Го - не центральная проблема построения сильного искусственного интеллекта. Но это одна из наиболее чётко формализованных задач в ряду, ведущем к. А значит - над ней и работа будет идти в первую очередь.

[Rattus]

Поскольку тема снова актуализировалась среди участников ВЖР и сам автор вернулся в Раздел, придётся таки дать давно обещанный подробный ответ на изначально заданные вопросы и высказанные тут значимые тезисы. Но без лицеприятия - так что не обессудьте.

Вы уверены в том, что знаете, в чём заключаются "фундаментальные запреты природы" и как далеко они находятся? Я – нет.

Ну тогда берите учебники по физике и другим естественным наукам или даже хотя бы соотвествующие статьи в Википедии - и начинайте ознакомление с ними. Пределы достижимых и постижимых физических параметров наукой давно установлены и непреложны (как минимум в рамках правил основных разделов Астрофорума).

Например, в научной литературе возможность сверхсветовых перемещений активно обсуждается.

Это всё умозрительные математические модели, для которых не показан даже подход к наблюдательно-экспериментальной проверке, а значит они - не вполне научны - как раз по упомянутой Вами причине:

Есть принцип фаллибилизма, в конце концов.

Подтверждённые физические теории (квантовой физики, ОТО) вполне удовлетворяют этому принципу: вполне известно какие результаты наблюдений могут сделать их невалидными (и они даже между собой не согласованы в области экстремальных плотностей), но пока в наблюдательно-экспериментально-доступной области никаких достоверно нарушающих их предсказательную силу результатов нет. А значит -

Комментарий модератора раздела

всё это не имеет отношения к обсуждению тем раздела ВЖР.

Открытие всех физических законов позволит понять и представить абсолютно всё, что может быть на других планетах и частях Галактики.

Нет. Потому что физические законы носят в конечном итоге характер запретов. И прежде всего - запретов на всезнание.

что остаётся обсуждать? "Социальное", "политическое", "экономическое" (если эти слова вообще применимы) устройство этого мира?

Да - в первую очередь.

Но опять же, мы не имеем ни малейшего понятия ни о целях сверхинтеллектуальных машин ни о способах, которые они изберут для их достижения.

Мы знаем главное: согласно определению, формализованному Висснер-Гроссом, настоящий общий интеллект прежде всего должен иметь целью самосохранение. Иначе это никакой не интеллект, а просто очередные вычислительные "костыли" для какого-то уже существующего интеллекта. А всё, что имеет целью самосохранение, подчиняется универсальному физическому закону дарвиновской эволюции (это не придуманный в.п.с. тезис, а только лишь изложение сути фундаментального положения, признанного ещё основателем статистической физики - Людвигом Больцманом).

Это невозможно вообразить. Если подходить к вопросу без дураков.

Тут можно пожалеть, что профиль эволюциониста alex_semenov был захвачен злоумышленниками, поскольку последовательный (или как сам себя называл Александр Анатольевич, "религиозный") эволюционист тут должен применять эволюционный подход в первую очередь. Вместо этого мы дальше видим давно банальные слова ни о чём, в которых комментировать нечего. Это довольно печально, но нам нужно двигаться дальше.

Для нас ASI будет примерно тем же, что мы для наших домашних котиков, читаем Унабомбера.

Боюсь, что это малореалистичный вариант на практике, поскольку из известной по эволюционной истории тенденции сила и универсальность интеллекта вступает в противоречие с врождёнными триггерами поведения. Поэтому надеяться на то, что искусственный суперинтеллект примет нас как мы своих гнездовых паразитов довольно самонадеянно. Ибо это само по себе не служит главной задаче - самосохранению ASI и его среды существования.

И? Для животных что-то изменилось?

Для того же размерного класса - очень даже изменилось:

Муравьи (вторая параллельная цивилизация на планете Земля) сильно замечают НАШЕ ПРИСУТСТВИЕ ТУТ?

Чтобы что-то замечать (а точнее - понимать), нужно прежде всего подходить под определение наблюдателя. Эусоциальные животные не являются наблюдателями глобального уровня (потому и не попадают по сути под определение цивилизации), поэтому "заметить" могут только то, что попадает в их поле непосредственного восприятия. Если оные животные живут в непосредственной близости от человека - то безусловно замечают и по возможности пользуются (синантропные животные, в быту именуемыми "вредителями").

Кусок сахара, уроненное мороженное, недопитая банка лимонада... Но это как то сильно меняет их жизнь? Нет конечно.

Это зависит только от длительности эволюции в непрерывно синантропных условиях. Пока это состояние длится исторически ничтожный срок.

Да, конечно, законы физики нарушены не будут, и чудес в этом смысле не случится, но это слишком неопределённо.

Если признать дарвиновский механизм законом природы (физики), то определённости не на уровне прогноза победы футбольного клуба на очередном чемпионате и погоды на вечер тридцать второго мартобря грядущего года на севере пригорода Урюпинска, а на масштабе основной тематики Астрофорума можно представить на самом деле достаточно.

Тут рулят не столько хотелки (хотя и они тоже), сколько обезличенные процессы, слишком сложные для понимания хомо сапиенсами

На достаточно большом масштабе времени (который, на минуточку, и есть тематика Астрофорума) происходящие тренды и итоги их вполне видны: мы видим некоторые итоги макроэволюции жизни за миллиарды лет, мы можем говорить о климате как реально существующем метастабильном явлении и т.п. И если уж техносингулярности мы отводим место именно на таком масштабе, то к чему же потворствовать плачу по волосам по сути сиюминутных историй социологии-экономики?

А собственное выживание автоматически предполагает устранение превентивных угроз.
В целом конечно человечество белое и пушистое, но не все его представители такие. И это перманентная угроза существованию.
Можно конечно просто удалиться подальше от них, но это не исключает создание человечеством нового ИИ, с которым потом есть риск конкуренции.
Поэтому проще всего эту угрозу, хм, побыстрее устранить

Как уже не раз писалось, всё это имело бы смысл, если бы на горизонте виднелся хоть какой-то реальный намёк на то, что самоподдержание инфраструктуры ASI без живых носителей цивилизации может не просто быть возможным физически "сферически в вакууме", но быть конкурентоспособным по технически доступным ресурсам. Для этого нужны прежде всего - вполне реальные "в корпусе" - тонкие сенсоры и многоосевые микроманипуляторы в связке с контроллерами по такой себестоимости - от руды до товарного контроля - которая будет хотя бы кратно сопоставима с природным аналогом - человеком-техником.
Пока этого нет, зависимость технологической инфраструктуры цивилизации от живого базиса тотальна и абсолютна. Но! Это вовсе не значит, что данный базис будет "в шоколаде", т.е. его потребности - на вершине целеполагания системы. Он, как подвал в фундаменте дома, как митохондрии и пластиды в эукариотических клетках, может быть поставлен в условия предельной эксплуатации. И тому не видно никаких физических ограничений. А как гласит один из главных "законов политологии": "всё, что возможно физически - возможно и политически." Нет смысла ещё раз описывать то, что в деталях живописано во всеразличных антиутопических произведениях массовой культуры - от х/ф Метрополис до боргов Сартрека, строггов Quake 4, сталкеров Aльянса HL2 и персонажей Scorn.
Замечу только, что инвазивное чипирование мозга и тем более прочее протезирование и in vivo модификации могут оказаться тоже излишне ресурсозатратными, так что старых добрых дубинки, электрошокера и лишение суточной "миска рис" может быть вполне достаточно для адекватной мотивации служебных особей делать свою ежедневную работу по обслуживанию инфраструктуры техноулья - в течение следующих тысяч и более лет.

Человек очень капризное устройство, которое требует постоянно обслуживания, не подлежит дешевому ремонту

БОльшую часть этого обслуживания он производит самостоятельно - раз, срок службы до ремонта при надлежащей эксплуатации составляет десятилетия, что пока недостижимо для очень многих технических аналогов - два и при исчерпании этого срока гораздо дешевле с учётом всего спектра требуемых ресурсов (тех же цветных металлов, энергии на очистку материалов и т.п.) может обойтись его полная замена - три. Таким образом тезис:

В общем, роботам он совсем не конкурент.

превращается в свою противоположность.

самая престижная профессия - сантехник

Типа того. Причём престиж будет состоять главны образом в +миска рис за выполнение плана. Другие варианты не очень-то просматриваются.

удастся ли удержать ASI под контролем

Определённо нет: общий интеллект более низкого уровня не может контролировать общий интеллект более высокого просто по определению. Хотя любой интеллект ограничен физическими потребностями для обеспечения выживания (для принципиально смертных многоклеточных с ЦНС оно реализуется через размножение) - поэтому его в пределе ограничивают они и только они.

или реализуется что-то типа paperclip maximizer

Узкая задача - принципиальная уязвимость и ограничитель интеллекта, так что ASI в принципе не может быть направлен на какую-то узкую цель. Единственная по определению эволюционно-стабильная Цель - как можно более долговременное выживание хотя бы на уровне наследственной информации (реализумого кода).

или сложится нечто среднее: ИИ будет продолжать служить человечеству, но методы его будут часто непонятны людям. Либо, как предлагает Rattus, возникнет симбиоз ИИ и людей, где ИИ будут «мыслителями» и планировщиками, а люди - обслуживающим персоналом.

В принципе это одно. Только не следует понимать симбиоз как что-то равноприятное для обоих участников. Паразитизм, как известно - самая распространённая форма симбиоза. Да и мутуализм обещает только биологический успех. Так, на данный момент едва ли не самым биологически успешным позвоночным является... домашняя курица. У читателя сразу в памяти возник сценарий "Матрицы" пополам с "Зелёным Сойлентом". Спешу читателя успокоить : гоминиды, обладая тщедушным пищеварительным "биореактором", как накопитель химэнергетических и пластических ресурсов в сравнении с настоящими растительноядными, интереса не представляет - в "Матрицу" взяли бы разве что вымерших гигантопитеков или нынешних копытных.

Ещё один фактор: будет ли ASI единым «супермозгом» на всю планету, или будет несколько таких супермозгов, или вместо этого распространятся миллиарды агентов меньшей мощности, в том числе личных «голосовых помощников» («ангелов-хранителей») у каждого человека, или возникнет иерархия ИИ разного уровня с разной степенью автономии более «низших» интеллектов.

А вот это - очень важный вопрос, достойный размышления. Думаю, как раз тут текущее состояние сущестования системы ядерного сдерживания сверхдержав (как минимум - НАТОкеания и ОстЮВАзия) -"технозон" с достаточным уровнем техноиндустриальной инфраструктуры (включая количество и плотность населения) и сделает ASI множественным, конкуренция между которыии запустит их эволюцию и тем самым - стабилизирует. Эволюция эта, разумеется как и любая другая, будет идти по пути оптимизации расходов. Да, - дорогой технооптимист - это не ЦОД будет меньше тянуть энергии, а ты - меньше кушать, греться и одеваться. Признаки чего мы, собственно, уже наблюдаем - на примере самых изнеженных и бесполезных представителей общества - геймерах-графофилах.
Какое-то дальнейшее умельчение не предполагаю: на внутригосударственом уровне меньшие системы проиграют большим, среди которых "останется только один". И такая эволюционная история вовсе не сделает "АСГУ/Ганимед" доброй феей для подшефного населения - особенно в условиях сокращения природных ресурсов, которое происходит несмотря на вопли "МАЛЬТУЗИАНСТВО!!1111" некоторых любителей поразбрасываться ярлычками . Она скорее рано чем поздно соптимизирует всех таких фей. И всей неприкладной науки это касается не в последнюю очередь - даже если заниматься ею тогда будут только сами ИИ.

Как ASI повлияет на политику, приведёт ли к обострению противоречий и новым войнам, или наоборот поможет установить всеобщий мир, в том числе под собственным контролем (но эту тему лучше глубоко не развивать, чтобы не споткнуться об 3.1.е).

Да нету тут особого п.3.1.е - это же не про сейчас и не про конкретные страны и политлица. Думается, что наиболее эволюционно-стабильным будет состояние вооружённого нейтралитета между образованиями в границах плотно концентрированных природных и производственных ресурсов. В области разреженных ресурсов возможны мультилокальные конфликты. Так что со времён Орвелла ничего принципиально поменяться не обязано. Хотя не исключается и сохранение торгового обмена важнейшими ресурсами, если возникнут такие условия, когда без этого не обойтись обоим сторонам - параллельно тем же продолжающимся локальным конфликтам - как мы это видим и сейчас.

Это всё, опять таки, имеет смысл если мы говорим об эволюционно-стабильном состоянии высокотехнологической цивилизации с ASI. Все остальные варианты на длительном масштабе времени не показывают себя таковыми и будут так или иначе скатываться либо к вышеописанному либо к распаду - см. постапокалипсис.
Как долго описанное состояние будет эволюционно-стабильным - сказать сложно - всё зависит от его ресурсозатратности. Вполне возможно, что с течением времени от системы управления будет требоваться быть всё более экономичной, а значит - менее вычислительно мощной. Будет сокращаться её обучаемость, тонкость реакций, но накопленный огромный опыт по управлению инфраструктурой и бледнотиками вместе с их отбором на послушание позволит это делать довольно легко и значит - долго. Также как сейчас обучение нейросети требует на порядки больше вычресурсов чем собственно работа обученной модели.
Евгеническая коэволюция бледнотиков будет направлена на стабилизацию их интеллекта ровно на таком уровне, чтобы при максимальной предсказуемости поведения они сохраняли способность максимально эффективно справляться с отведёнными им рабочими обязанностями (физический микроменеджмент), самообслуживанием и самовоспроизводством в требуемом диапазоне.
Такие дела.
Привет.

[Rattus]

Оптимизм - состояние души и его проявление может в корне отличаться у разных людей в завсимости от их ценностей и исповедуемых убеждений.
Вот например этот персонаж:

Разве не оптимист?

Ну так тогда в качестве нашей замены вырастят, нагеноинженерят гомункулов с высокоэффективными птичьими нейронами, и условным десятком рук, не страдающих от гиподинамии.

Да, но лучшей основой для их выведения в любом случае будет исходно (и/у)меющийся носитель цивилизации.

Лысая говорящая обезьяна не только мастер поговорить, но и мастер марафонов по саване. Это совсем не нужная оптимизация, чтобы быть механиком.

Не только механиком. Шахтёром, уборщиком, сортировщиком - да ещё много кем. В том числе и бегать по какой-то площади, собирая там какой-то рассеянный ресурс тоже может быть весьма полезным. Так что многие исходные свойства могут оставаться полезными. Ну и конечная форма в итоге вовсе не должна быть одна: вполне может быть несколько под свою группу задач.

[Rattus]

И заменят на что-то наинженеренное с нуля.

С какого такого "нуля"?
Покажите наинженеренный с нуля (без применения биогенных молекул) хотя бы один настоящий фермент или мембранный канал - а потом уже будем рассуждать на тему "с нуля" дальше.

Говорю как DevOps/Software Engineer, увы.

Вот только тут уже нужно говорить как системный биолог.

[Rattus]

это позволило бы вместо стабильного, проигрышного решения в дилемме заключенного, выбрать правильное: международную кооперацию

И в перспективе неизбежного скатывания снова и уже по-жёсткому в игру с нулевой суммой по мере исчерпания ресурсов - нестабильного.
Так что - или постапок или дистопия. Что более оптимистично по мнению читателя?

Очень жаль, что экзамен на разумность мы как вид не сдали.

А вот чтобы не жалеть попусту - и не надо было принимать за истину пропагандистскую обманку ещё прошлого века про "всё прогрессивноцивилизованное чел'овечество": вид - это чисто биологическая условность, "лицензионное соглашение по использованию интеллектуальной собственности" наследственной информации скрещивающимися особями и не более того. Сколь-нибудь реальны лишь популяции (генофонды), особи (генотипы) и элементарные признаки (гены).
Так что тут А.А.С. оказывается прав.

Я даже не про биохимию (хотя и её наинженерить законы природы не запрещают.

Ещё раз - не надо "ля-ля" про сферовакуумные возможности. Критерий опровержимости предельно простой и конкретный:

И для техноэнтузиастов можно предложить несколько вполне конкретных показательных критериев первых побед в соревновании "техно- vs био-" на наноуровне:
1. Появится в серийном исполнении полностью твердотельное нанопоровое секвенирование ДНК и сравняется в распространенности с белковопоровым.
2. Появятся серийно-применимые методы химического синтеза-сборки любых существующих мембранных порообразующих белков длиной свыше 183 или свободных ферментов свыше 610 аминокислотных звеньев практически любой последовательности.
С учётом того,  что и биологическая наука теперь выдаёт не так много сюрпризов, критерии эти можно считать достаточно стабильными и потому только при достижении хотя бы одного из этих пунктов можно считать, что у нанотехноэнтузиазма будут реальные основания для некоторого оптимизма.

Есть? Предъявляйте. Нет - "фсад" с "разговорами в пользу бедных" духом.

а скорее про франкенштейнов из уже существующих природных "технологий". Ну вот, например, птичьи нейроны: человеческие просто не нужны, если суметь пересобрать из птичьих мозг для животного с так сказать манипуляторами

Ага - и получить адово заскриптованное на примитивных триггерах существо, которое триггерится при виде трясущейся тряпки нужного цвета, даже если умом понимает, что это не дохлый сородич. Или картинки впервые мельком увиденной в грудничковом детстве. Почтайте книги основателя этологии и первооткрывателя самого понятия импринтинг Конрада Лоренца - на ком оно было сделано и как проявляется.

[Rattus]

Я думаю, если бы мы справились с AI Aligment, ASI бы для нас сделал такие штуки как термояд

Если он возможен - ASI его обязательно запроектирует. Но поскольку это ASI - то прежде всего для себя. Обслуга будет энергоснабжаться не сильно более необходимого.

совершенно не факт, что можно сделать AI Aligment. Это грубо говоря никто нам не обещал. Может, это вообще нерешаемая задача в принципе.

Убеждён, что нерешаемая сразу по определению.
Но это не значит, что его не следует создавать. Вполне вероятно, что жизнь в техноулье гораздо лучше чем на вообще обломках техноцивилизации. Может быть там уровень счастья будет не ниже чем в нынешней, скажем, Ниппонии (привет, каро'щи! ), Южной Корее, Тайване или вплотную к ним приблизившегося материкового Китая (пламенный привет рабочим на крышах заводов Foxconn! ) :

- выглядит не так уж плохо на самом деле.

Ошибка смотреть на людей, и говорить, что это идеальный механик(хотя бы потому, что внутри вида людей вариативность способностей быть механиком довольно большая.

А где это утверждается?

Наивно думать, что её нельзя поднять радикально).

Наивно как раз думать, что можно радикально улучшить что-то отлаживавшееся эволюцией многие миллионы лет без должных на то оснований.

А это может быть что угодно в диапазоне от роя нанороботов

Возможного только в фантастике плохо учивших в школе химию и физику фазового состояния - как Дрекслер в 90-е. Потом его таки немного доучили, хотя бы.

органики, управляемой рибосомами и РНК, но не клеточного вида

В пробирке с контроллируемыми условиями. Обеспеченными живыми клеточными лаборантами. "Обмен веществ? Нет - не слышала!"

Разумно создать такую конструкцию, смыслом существования которой будет быть механиком. И она будет под это архитектурно оптимизирована.

Разумеется. О том и речь. Причём уже имеющийся образец уже оптимизирован довольно неплохо. Но чтобы это понять, нужно иметь биомедцинское образование - начиная с химии. А не чисто программистское.

Чем Вам концепция слепоты лорда кельвина не нравится как логического опровержения?

Это только в схоластике или математике опровержения чисто логические - умозрительные и по аналогии. В естественных науках же - только фактические.
Когда-то логики-схоласты из своего понимания священного писания и философских трактатов древности решали сколько у мухи должно быть ног и у женщины зубов. Теперь схоласты-кодеры нынешнего времени, начитавшиеся трудов программиста с неоконченным образованием Ализера Юдковского рассуждают о том, как можно воссоздать или фундаментально пересобрать живой органмзм "с нуля".

[Rattus]

если АИ (не перевариваю я аббревиатуру ИИ) один

Судя по всему он таки не будет один - собственно он уже сейчас - далеко не один.

проходили уже — рабовладение называется.

Ага. И оный институт даже без сколь-нибудь долгосрочного планирования тысячи лет продержался. Это ли не признак стабильности?

но нужен ещё и мотив — баба и власть.

И кошка-жена с благодарность Председателя A-SI и жёлтые штаны - в отведённых пределах сможет выдавать без проблем.

нужен надсмотрщик, надсмотрщик за надсмотрщиком, надсмотрщик за надсмотрщиком за надсмотрщиком

Вот как раз функции надзора автоматизируются гораздо легче. При этом низовое звено (сержанты-лейтенанты-капитаны метрополиции) может вполне оставаться человеческим и при необходимости - даже чипироваться, тогда как "пролы и животные остаются свободны". Но и без привелегий. В Half-Life 2 всё наглядно показали уже два десятка лет как. Всё высшее командование и высший надзор - уже полностью AI-автоматика.

а раз так — зачем нужна эта постепенная коэволюция бледнотиков, если можно сразу перейти к генетическим экспериментам над менее строптивыми созданиями?

Отобрать наименее строптивых, но способных выполнять работу бледнотиков гораздо проще, чем научить какого-нибудь пуделя чистить кулеры по регламенту и заменять термоинтерфейс.

вот вы ASI предлагаете как что-то супер-пупер-гипер, хорошо, а что он из себя представляет и чем он по сути отличается от  обычного, но искусственного способного к саморазвитию генерального AGI,  Artificial General Intellect?

Не так давно был предложен на мой взгляд неплохой рабочий критерий:
AGI решает любую задачу из этого списка не хуже, чем лучшие 50% специалистов в области
ASI решает любую задачу из этого списка лучше любого человека

[Rattus]

Вот у Вас как раз и схоластика.

В каком месте?

В природе существуют только фундаментальные ограничения. Существуют всё ещё не открытые законы, которые могут нас ограничить.

О чём я и пишу! И ограничения эти находятся не только на статье "фундаментальные константы" в Википедии и учебнике физики. Существуют и другие науки - химия, биология, которые в процессе своего "коллекционирования марок" тоже находят такие законы - в области сочетания физических. Чтобы быть о них осведомлённым - нужно получать соответствующее образование. И в таком случае ВАм придётся объяснить - почему вот это ВАш тезис:

Наивно думать, что её нельзя поднять радикально

- не должен представляться проявлением эффекта Даннинга-Крюгера в глазах тех, кто соответствующим образованием обладает.

Мы ещё плохо понимаем, как работает интеллект.

как показывают последние данные, уже во многих моментах понимаем и воспроизводим гораздо лучше чем многие думали:
https://4pda.to/2025/02/22/438848/issledovanie_krupnye_yazykovye_modeli_obrabatyvayut_dannye_kak_chelovecheskij_mozg/
Те же, кто считает человеческий интеллект какой-то архизамудрёнейший вещью в себе до которой ещё многие десятки лет научного поиска в лучшем случае - лишь находятся в плену ошибки наблюдателя и ЧСВ.

мой скептис по поводу того, что возможен AI aligment качественно более умной сущности по отношению к более глупой - разумен.

Разумеется. Скорее он верен даже по определению - что и отметил выше.

Мы не "выравнены" по отношению к нашим котикам. Если бы мы были к ним выравнены, мир бы представлял из себя большой кошачий рай, и вся земная экономика была придатком к этому раю: в ней было бы довольно мало всего, что не способствует счастью котиков.

Но то, что мы обеспечиваем многим котикам вообще существование гораздо более райское чем они отдают практической полезностью говорит о том, что в "Естественном интеллекте" человеков есть уязвимость, которой настоящий ASI - если он действительно ASI - по отношению к человекам должен быть лишён.

Я думаю, есть что-то похожее в мире насекомых, и других мелких существ, но вот проблема, у них нет интеллекта.

Вообще-то интеллект есть даже у бактерий:
https://en.wikipedia.org/wiki/Microbial_intelligence
https://www.ncbi.nlm.nih.gov/Complete_Genomes/SignalCensus.html
И это вполне соответствует принятому в Разделе общему определению данного термина.

Например, наличие красных карликов неопровержимый пруф, что фундаментально возможно создание пусть и очень тяжелых, но термоядерных реакторов протон-протон.

Если не знать о существовании такого раздела физики как материаловедение и что в нём есть свои пределы - не менее фундаментальные чем те, что написаны в соотвествующей статье Википедии - то оно конечно...

Так вот, человек, тот самый механик, уже существует. А значит, согласно принципу слепоты лорда кельвина, создание искусственного механика - это просто инженерная задача.

Ага. А задача создания ресурсно-эффективного механика - задача расчёта экономической эффективности, без которого все эти технически-возможные механизмы так и останутся бесполезными прототипами в музеях технического творчества.
Вам на Конкордах часто доводилось в своей жизни летать? Ой, а почему же так случилось?

Я помню как в ВЖР вплоть до эпохи веб-приложения ChatGPT, хотя GPT-1, GPT-2 уже были, писали "а я не верю, что ИИ возможен. А докажите!" - путали инженерную сложность с принципиальной невозможностью.

Ага. И даже позже, хотя это выглядело ещё более смешно. Но в.п.с. среди них не было с самого начала. То, что возможен AGI не только ровно человеческого уровня, но и превосходящий оный я особо никогда не сомневался.
Весь вопрос состоит в том - насколько превосходящий.

Все будут бояться создавать слишком умный ИИ.

На заре Интернетов в них возникло полезное правило: "Отучайтесь говорить за всех". Так вот: все - не будут. Как три четверти века назад не убоялись Роберт Оппенгеймер, Янош фон Нейман, Ричард Ф. Фейнман, Игорь В. Курчатов, Яков Б. Зельдович, Евгений И. Забабахин, Михаил К. Янгель и многие другие выдающиеся инженеры и исследователи по обе стороны океана. И результат работы тех, кто не будет бояться, точно также выиграет гонку. И мир необратимо изменится. Но не обязательно в целом в сторону более худшую, чем если бы эта работа не была сделана.

Но где эта граница, когда мы в принципе не будем понимать что он делает, не понятно.

Она уже местами пройдена:

мы с трудом оперируем несколькими объектами в разуме одновременно. У ASI не будет такого ограничения

Где доказано? Почему же тогда в ЦП сразу не делают 100500 регистров и кэш первого уровня в 100500 мегабайт?

существует закон природы, запрещающий масштабирование интеллекта.

Существуют непреложные законы природы, запрещающие безграничное масштабирование вычислительной эффективности. Начиная хотя бы с закона Амдала. Понятно, что нейросети работают за счёт массового параллелизма, но любой сколь угодно распрарллеленный алгоритм должен рано или поздно выдать результат своей работы на единственный выход в виде однозначной последовательности ответа. А значит закон Амдала должен быть применим в любом случае...

[Rattus]

что, с его точки зрения, опасно и неэффективно, и эту проблему он будет решать в первую очередь.

Будет - на уровне внутри "технозоны". Между - уже вряд ли получится. А это значит - сохранение конкурентной среды, вынуждающей оптимизировать поведение.

и всё равно рабовладение почему-то закончилось

Ну раз азиатские потогонные фабрики и использование труда мигрантов разного уровня легальности вкупе с системой социального рейтинга рабством формально не считаются (принуждение - исключительно экономическое), тогда и новый строй с ASI называть таковым не будет оснований.

и вот у нас на горизонте уже феодализм, сословия...

Какие-такие "сословия"? Любой гражданин может продаться в метрокопы, равно как и вылететь оттуда за невыполнение плана по экзекуциям. Разделение по функциональной специализации может наступить позже - и это уже будет наоборот гораздо глубже чем просто "сословия" - скорее это будут уже касты - вплоть до полной видовой несовместимости. A la H. sapiens Kohr-Ah et H. sapiens Kzer-Za.

и "стеклянный потолок". а как известно, плох тот лейтенант, что не мечтает стать генералом.

Уровень контроля для капитана или майора будет иметь социальный статус "генерала" - ибо уровень привилегий в глазах подшефного народонаселения - вещь исключительно относительная и потому - довольно условная и легко обеспечиваемая: см. пыжиковые шапки и иные малиновые штаны.

таки отбирали. и даже мысленную блокаду делали: "грех, грех, не вылезай, убьют!".

Герон тоже формально первым изобрёл паровую машину. Реально практически применимой она стала гораздо позже и имела совсем иной вид.

в природе пока ещё остались и другие шимпанзе. и с мелкой моторикой у них вроде бы порядок?..со временем они эти навыки сами себе начнут передавать.

У них непорядок по другому - гораздо более фундаментальному параметру:
https://elementy.ru/novosti_nauki/430954/Chtoby_stat_lyudmi_obezyanam_ne_khvataet_rabochey_pamyati
А мелкая моторика, да и сама возможность передачи сложных навыков, как известно, теснейшим образом связана с речью.
Так что чимпов придётся растить снова как минимум до уровня неандертальцев. А если в наличии уже имеется весьма неплохо работающий образец - к чему это чесание правого уха левой пяткой?

у нас вполне себе деликатный инструмент без претензий на власть.

Не следует тотализировать стремление к власти среди людей. Со времён В.И. Ульянова известно, что революционная ситуация складывается только при серьёзной управленческой дисфункции власти существующей. Ну или при катастрофе, приводящей к серьёзному нарушению функционирования инфраструктуры (голод) - тогда, правда, кто конкретно является "правителем" погоста - уже так не важно становится.

тогда исполнитель деградирует умом (собака против волка)

Тем не менее собака всё равно остаётся гораздо умнее хомячков и пасомых ею овец.

просто расскажу что было недавно на немецком мусорном заводе.

Ну т.е. байку без пруфов и деталей?

не прочитали, что я написала

Что конкретно? Я прочитал всё написанное - и про протон-протонный реактор и про НЗ-компьютрониум дальше (в другом сообщении от другого юзера) - всё это однозначное фэнтези, не имеющее никакого отношения к инженерно-физической реальности. Но раз это снова и снова всплывает в обсуждении - приходится снова напоминать обсуждантам, чтобы они не отрывались от оной реальности.

Саудовская Аравия была частью общей системы. Как и Эмираты.

Ага - той системы, которая принимала далеко не последнее участие в подготовке 9-11, но поскольку это "наш сукин сын" - то концы потом были тщательно замяты под ковёр.

Вот Талибан не был

Особенно не был во время первой афганской в 80-е. Вот уаще не был, а Стингеры, которыми сбивались советские "крокодилы" и "сушки" - те попали туда ну совершенно случайно...
Такая вот система торжества гуманистических ценностей.

Нельзя быть исламистом, и иметь крутые AI-лабы и датацентры.

Вы в курсе кто не так давно теперь владелец едва ли не контрольного пакета AMD и Globalfoundries?

Надеяться на то, что созданный ASI не окажется paperclip maximazer, очень наивно. Он же сверхинтеллект, как же так, он должен заботится о себе... А вот так. Никому ничего он не должен, кроме того, что написано в его system promt.

Да дался ВАм этот "paperclip maximazer"! "Дедушка ВАш paperclip maximazer"? Ещё раз, болдом:

настоящий общий интеллект прежде всего должен иметь целью самосохранение. Иначе это никакой не интеллект, а просто очередные вычислительные "костыли" для какого-то уже существующего интеллекта. А всё, что имеет целью самосохранение, подчиняется универсальному физическому закону дарвиновской эволюции

В то время как проектирование реальных ИИ-систем идёт в сторону максимизации универсальности и "непредзаданности" начиная с Alpha Zero и к нынешним мультимодальным моделям, продолжать думать, что система, в фундаменте которой если не явно, то по сути заложена максима "стремиться продолжать функционировать при любых обстоятельствах" (просто потому что установка любых иных более высоких приоритетов сразу и существенно снижает универсальную эффективность системы), по предложению пользователя "помоги мне пожалуйста моей компании изготовление скрепок" тут же выставит его в прироритет выше собственного сохранения - и есть весьма наивно. Да даже если такая система имеется - она элементарно проигрывает эволюционное соревнование той, у которой в приоритете только она сама. Именно поэтому: да - должна, иначе проигрывает соревнование и выбывает в небытие.
Это самая основа универсального дарвиновского механизма. Думать, что он ВНЕЗАПНО не применим к эволюции систем ИИ - и есть верх наивности.

Никакого энергетического или ресурсного кризиса не будет.

Главное - в это верить и повторять пять раз в день, обратившись к той стороне, где Нью-Йорк.

А еще он поразмыслит и поймет, что могут быть и другие цивилизации с более мощным ИИ.

Или, куда скорее - наоборот - что их наличие в пределах досягаемости - исчезающе маловероятно.

[Rattus]

Комментарий модератора раздела

Напоминаю участникам - это тема не про И.Э.Маска и его планы полёта на Марс. PK96 получает 40% предупреждений за инициацию оффтопа (п.3.1.д Правил Астрофорума), Klapaucius и Ph_user - по 20% за продолжение. Оффтоп удалён.

[Rattus]

Очень жаль, что экзамен на разумность мы как вид не сдали.

Это был бы самый важный проект в нашей истории. Мы полностью безумны. Я никогда не думала что настолько.

Вот чтобы не удивляться тому, что мир не соотвествует ВАшим радужным фантазиям о нём, следует начинать с использования адекватных определений рассматриваемых понятий. Например определения того же разума, которое специально для этого дано в Тезаурусе Раздела в готовом виде уже несколько лет как.
Так вот - определение разума как такового ничего того, что Вы о нём нафантазировали, не включало "от слова совсем" изначально.
Проблема в том, что Вы напрочь забываете о проблеме observer bias в макроэволюционно-историческом масштабе (которая также есть в Тезаурусе Раздела), целиком оказываясь во власти этого когнитивного искажения, некритично-спекулятивно экстраполируя серию наблюдений событий, произошедших задолго ДО и ставших причиной того, что вы сами явились наблюдателем с теми знаниями и представлениями, что в вас есть, на то, что предполагается ПОСЛЕ. Не имея при этом никаких сторонних объективных подтверждений высоковероятности, стабильности, долговременности и т.п. свойств предполагаемых "трендов".

Если только как в анекдотическом определении оптимиста и пессимиста. Где пессимист мрачно утверждает, что положение - хуже не бывает, а оптимист радостно - Бывает! Бывает!

Дык! И ранее приведённый кадр с доктором Стрейнджлавом как раз и есть наилучшее кинематографическое воплощение такого оптимиста.
Ну а что касается пессимистов и паникёров, то, как говорил товарищ Архимонд: "Tremble mortals and despair, DOOM has come to this world!"
Муа-ха-ха-ха!

[Rattus]

то и разные АСИ очень быстро придут к практически одинаковому состоянию (пониманию мира и себя). так почему же вместо наследования человеческого конкурентного поведения не попытаться слиться в объятиях (да-да, тот самый горячо желаемый полуночный тотальный глобализм, но в нечеловеческом исполнении)?

Потому же, почему и живым организмам.

с марксистской точки зрения

Рассматриваемому вопросу совершенно нерелевантна.

тем не менее Цезари никуда не денутся, если только с детства не блокировать. но даже так есть риск внезапного помешательства ранее вполне взрослого и благородного джентльмена генерала.

И что? Селекционеры в питомниках продолжают работы по поддержанию сортов и невозможность вывести "идеальную" немутирующую породу им существовать не мешает.

что именно помешает ему деградировать?

Соседний с ним конкурирующий голем. Их может быть и более двух, кстати.

[Rattus]

те качественно АСИ = голем с личностью?

Высокоадаптивный голем вместо прежнего жёстко заскриптованного.

[Rattus]

Ну и, разумеется, https://en.wikipedia.org/wiki/Sentry_gun

[Rattus]

В 20 веке было выдвинуто три варианта будущего - трансгуманистическая утопия, киберпанк, и истощение ресурсов\постапокалиписис в стиле "Киндзадза" и "Безумного Макса".
Я лично считаю что они не являются взаимоисключащими! Трансгуманизм безусловно будет, но никто не говорил что он будет бесплатным! Наоборот - чем сложнее техническое изделие, тем оно дороже. Таким образом, трансгуманизм будет лишь для элитки золотого миллиарда.
Остальную часть население золотого миллиарда ждет киберпанк с его "high tech, low life" или по-русски "высокие технологии, дерьмовая жизнь", и толпы безработных орущих "вчера люди работали а жестянки валялись на помойке, сегодня жестянки работают а людей выкидывают на помойку!"
А всех остальных ждет трансПЛЮКизм

Проще говоря три комбинации двух бинарных переключателей: hi/low tech и hi/low life, разделённые пространственно.
Можно и четвёртую - утопию анархопримитивизма low tech - hi life куда-нибудь прицепить - например где-то оставшимся первобытным племенам амазонии или поселениям рыбаков на островах ЮВА - в зависимости от т.з. на то, что считать hi life... Или какой-то промежуточный вариант mid/var tech - hi life - Меганезия.

[Rattus]

Это утверждение не соотвествует реальности. Мы живём в искусственной среде, возникшей во время неолитической революции - мы перестроили планету под себя, когда начали производство еды.
Во время охотников собирателей, на планете жило несколько миллионов человек. Под 10 млрд живут только из-за инфраструктуры.

Каким образом ВАш частноколичественный аргумент опроверг исходное общекачественное утверждение?

Очевидно, что Rogue ASI (которому не сделали AI Aligment на гуманистические ценности), перестроит инфраструктуру техносферы под себя из эгоистичных соображений.

Как это всегда происходило, происходит и будет происходить в эволюционной истории. There is no exceptions.

сли мы даже не требуем от бизнесов, которые занимаются AI, заниматься Aligment'ом. А наоборот, уничтожаем государственные агенства, которые за это отвечают.

То это прекрасный пример отсутствия какого-либо идеологического прессинга на научно-техническую и опытно-конструкторскую деятельность, двигающую Прогресс вопреки всяческим неолуддитам. Жаль, что так происходит далеко не во всех сферах научно-технического творчества.

Если почитать, например, одного из главных злодеев - Ярвина (к сожалению, более интеллектуального злодея, чем Дугин, а потому ещё более смертельно опасного для человечества)

Первый раз о нём слышу, но если Вы советуете - почитаем непременно - вдруг и правда он излагает более разумные тезисы чем Дугин. Или даже Вы.

Поэтому я и очертила рамки темы, не как тема человеки + AGI, а как ситуацию, когда возникает ASI - мыслящая машина (или машины) непредставимого для нас интеллекта.

Ещё раз - "непредставимого" - сразу выводит тему за рамки п.3.1.д Правил Астрофорума. "Несопоставимого по уровню способностей" - пожалуйста, сколько угодно, а с "непредставимым" априорно бессодержательные разговоры ведите в где-нибудь в "Клубе..."

Расшифруйте аббревиатуры.

Второе предложение начального сообщения темы прочитать несудьба?

AI Aligment

- дрессировка/воспитание искусственного интеллекта.

А что потом?

В реальности - достаточно быстрое саморазрушение из-за незамукнутости цикла самовоспроизводства без массы относительно ресурсно-дешёвых и высокоуниверсальных самовоспроизводящихся живых рабочих, обслуживающих инфраструктуру высокотехнологической цивилизации с ИИ во главе.

До саморазвития наноботов ещё далеко. Как и до самих наноботов.

Примерно до бесконечности далеко.

Да и вообще ДНК imho круче других самых мелких технологий. Те могут только дополнить.

Не только IMHO. Когда мы обращаемся к молекулярному уровню, то вполне уместными становятся аналогии и закономерности, твёрдо установленные химией и материаловедением - собственно по той же, например, твёрдости: алмаз - самое твёрдое вещество из в принципе возможных. И получать его искусственно для технических целей давно научились. Но: почему-то он далеко не везде оказывается применим как наилучший абразив - по той простой причине, что при нагревании довольно легко или окисляется (сгорает), обращается обратно в мягкий графит и/или растворяется в обрабатываемом металле. И поэтому на практике для той же металлобработки широко применяется немного менее твёрдый, но гораздо более стойкий по совокупности свойств и более дешёвый корунд (кристаллический оксид алюминия).
С ДНК как долговременным высокоплотным носителем информации дело обстоит очень похожим образом. Именно поэтому исследовательское подразделение Microsoft (не самые глупые и некомпетентные специалисты в мире, полагаю) несколько лет тому назад обратили на данный носитель самое пристальное внимание.

Возможно, Вас смущают мои искренние эмоции возмущения - я ведь в тайне надеялась оказаться слишком пессимисткой.

Возможно только как модератора темы в одном из основных разделов Астрофорума, где сохраняется примат содержательного обсуждения над обменом эмоциями. Как несуществующего кащенита - наобормот веселят. ;~]

Ещё я последовательно писала, что иллюзия замедления прогресса - это коллективная иллюзия.

Жаль только, что не очень-то доказательно и неубедительно. Данные AlexAV куда более адекватно описывали рассматриваемую область, чем какое-нибудь просто число регистрируемых патентов (прошу, кстати, участников обратить внимание на одно из дополнений к Правилам Раздела по этому поводу - кто ещё не) или статей коллективов К.У.Кушки и П.Е.Туха, которые цитируются только ими самими.

В итоге сейчас скорее получается так, что помещать технологическому прогрессу неореакционеры/неофашисты не успеют, они его наоборот оседлают.

А чуть менее века назад было не так? Но конечно - с созданием ООН все резко коллективно помудрели и не допустят и т.п. Главное - в это верить. Ага.

Никаких разумных оснований для взлёта неомальтузианских и реакционных настроений не было.

Ага - ну ваалще никаких. Рафик ваапще неуиноуен!

Они все - продукт когнитивного искажения, когда знаний было произведено слишком много, и мы не понимаем что вообще такое происходит, особенно за пределами нашей зоны компетенции. И нам проще поверить, что НТР уже фейк, имитация, что машина познания уже лишь имитирует свою деятельность.

Когда эффект от произведённых "знаний" типа набора гипотез квантовой гравитации, которые даже не предполагают возможности реальной наблюдательно-экпериментальной проверки или множества работ по терапии онкологических заболеваний или изучению болезни Альцгеймера, отзываемых из-за грубых фальсификаций, не очень-то просматривается на практике вот уже несколько десятилетий к ряду - это более чем закономерное следствие.
Ксю, не спешите возражать, а прежде почитайте материалы последнего 5-10-15-летия на тему:
Keywords: Replication crisis, Retraction Watch, Journal(s) of Negative Results, Sabine Hossenfelder...

Технологическая сингулярность - самый страшный экзамен в истории человечества и биологической жизни.

- А теперь, ребята, найдите в этом тезисе два отличия от эсхатологических воззрений ряда авраамических и иных подобных религиозных сект. Вижу руку с переднего ряда - пожалуйста, Настенька!
- Отличие в словах "Технологическая сингулярность" - если их заменить на "Страшный Суд" - отличий не будет!
- Молодец, Настенька,- всё верно! 

Нам нужно предельно компетентное руководство человечеством, основанное на экспертности и разделяющее гуманистическую идеалогию.

Нам нужно предельно компетентное руководство малокомпетентным человечеством, не разделяющее никаких идеологий и следующее исключительно наиболее эволюционно-стабильной стратегии. 8/64! Byte Power!

Есть даже шанс успеть пожить в семёновских человейниках в аду, пока rogue ASI не придумает что-нибудь более эффективное, чем мы.

Нет - такого шанса у нынеживущих и тем более ныне тут пишущих нет. И даже у их детей - не факт ещё - особенно на периферии Ойкумены. Ибо жизнь человеческая не столетиями далеко исчисляется кагбе. И довольно долго ещё таковой останется.

не будет никакого трансгуманизма, будет технофашизм. Но скорее всего не очень долго. Его сменит что-то ещё худшее

Это и называется ПОСТгуманизм - в этом его фундаментальное отличие от этихВАших "трансов". Что в.п.с. отмечал ещё более пятилетки тому назад.

Зачем это paperclip maximazer'у?

Затем, что скрепки ВНЕЗАПНО делаются не из воздуха и даже не из воды.

например, extinction event

Это к бабке не ходи - он в принципе уже идёт - из-за человеков в отношении многих представителей дикой фауны и некоторой флоры. То, что он ждёт сам нативный вид человеков - следует ну хотя бы из Doomsday Argument.

от paperclip maximazer'а

Да дался ВАм этот "paperclip maximazer"! "Дедушка ВАш paperclip maximazer"?

Написать более соответствующее наиболее реальным и общим запросам "Country/Company X greatness maximizer" настолько сильно коробит ВАши идеологические чувства и тщетное желание избежать открытия их политизации, что Вы продолжаете пользоваться этой не имеющей никакого отношения к реальности фантастической "моделью" почти четвертьвековой давности?

или ад в семёновских человейниках, или вообще какой-нибудь I have no mouth, but I must scream.

Ну да - приводить аналогии из фэнтези с терминами чисто религиозными - это аргументация, безусловно "адекватная" научно-корректному обсуждению...

Немного мучительно быть осведомлённой индюшкой, понимающей, что из неё сделают суп.

Добро пожаловать в республиканскую партию реальный мир, Нео! Красные таблетки нынче без отходняка не работают...

прошу отличать их от технофашистов:... Аргонов

Это тот, который допускает принудительное осчастливливание постсингулярной - трансцивилизацией, цивилизаций, ещё не достигших "просветления"? Это да - это ниразу не технофашизм, безусловно.

А что, по вашему, все живут только в повесточках с приставкой -ультра?

В фанатично-религиозном чёрно-белом мировосприятии - именно так и происходит.

Да. Нас радикализировали социальные сети.

Ага - старое доброе "не мы такие - жизнь такая!", "С волками жить - по волчьи выть!" (ВАш оппонент Инопленетянин этой максимы, кстати, придерживается точно также, только под флагом другого цвета).
Если всех вокруг мнишь "идиётами" - то самому стать (вернее - оставаться) идиётом - морально вполне оказывается оправданным, да, Ксю?

Добро и зло объективно существующие свойства нашего мира. Они следствие из теории игр, а именно из стратегии ястреба в игре голуби vs ястребы (в том числе речь о голубях, которые дают сдачу) и о сценарии предательства в дилемме заключенного. Из этого выводится гуманистические ценности.

Из этого выводится только понимание о тактических и стратегических целях. "Гуманистические ценности" совпадают со стратегическими только тогда, когда резко возрастает ценность квалифицированного труда - тогда и только тогда образование, медицина и прочие соцгарантии оказываются экономически окупаемы в долговременной перспективе. В случаях, когда какие-либо природные ресурсы (земля, ископаемые и т.п.) оказываются по итогу ценнее "народных масс", их потребляющих - весь гуманизм оказывается сметён "как с белых яблонь дым" в исторически краткий срок. До следующей демографической стабилизации.

Я не рассчитываю изменить Вашу точку зрения, потому, что Вы религиозны.

А Вы, рассказывающие тут про варианты ада и эсхатологическое значение текущего момента - ну ниразу не религиозны, ага.

[Rattus]

я же говорила, что нужно действовать минимально инвазивными методами, находить такие. Я думаю, что доход от ГЭС позволит найти win-win исход, который и культуру племени сохранит, даже поможет ей, и улучшит жизнь всех остальных. Нужно играть в игры с положительной суммой, и выбирать win-win исходы.

Ну разумеется - ведь Земля и всё что на ней - резиновое, с бесконечной растяжимостью. А скатерть-самобранка всё ещё не изобретена только из-за неватки научных статей по теме топорокашеварения.

[Rattus]

Комментарий модератора раздела

Тема очищена от оффтопа. Пока без % авторам.

Я думаю, большая часть людей даже в ВЖР путает этику и картину мира.

А я - как модератор - думаю, что вопросы этики имеют очень малое касательство к темам основных разделов Астрофорума. В ВЖР - разве что в контексте того, какая именно этика может оказаться эволюционно-стабильной на обсуждаемом - астрономическом масштабе времён. Почти все существующие в Разделе темы про обсуждение этических аспектов чего-либо были созданы ещё до получения в.п.с. модераторских полномочий и оставлены больше как имеющие историческое значение для интересующихся читателей, чтобы они могли сами наглядно убедиться в субъективности этических суждений разных участников и тем самым - неконструктивности споров на эту тему - вне уже обозначенного критерия эволюционной адаптивности.
В других же случаях поднятие вопросов этики очень быстро и едва ли не неизбежно уводит обсуждение во флуд и полный оффтоп, да так, что сам автор-инициатор в итоге совсем не рад оказывается:

Пожалуйста, давайте вернёмся к ASI?

Что называется - Q.E.D. 

Лондон тоже не был резиновым в вопросах переработки лошадиного навоза.

Ну конечно же - как Мы мог забыть: ведь Земля как и Лондон построена исключительно для проживания на ней людей шесть тысяч девятнадцать столетий тому назад!

Если с колонизацией солнечной системы людьми ещё можно спорить (хотя аргументы после появления Starship'а звучат всё менее убедительно!) то что бы заперло ASI в гравитационной яме Земли - решительно не понятно.

Ну разумеется непонятно - ведь процессоры, на котором он может крутиться - вечны и не подвержены деградации, а если вдруг что-то случится - то ASI, c помощью изобретенных им Скатерти-Самобранки и Философского Камня в момент синтезирует себе замену из подручного реголита!

Вы на пару с оппонентом Семёновым уже "большие, смышлёные мальчик и девочка" - много прочитали и знаете, что "космос для народа" - не "бесплатный магазин"(НОМФИЛЬМ - х/ф "Звёздный Ворс"). И полагаете его теперь довольно дорогим и далеко расположенным (на аж окраине областного центра - час автобусом!) большим строительным гипермаркетом с длиннющими полками, полными всеразличных товаров и материалов. Что планетологическая реальность на деле ещё "более иная", о чём также было писано прямым текстом:

Космос - это НЕсреда для ЛЮБОЙ жизни. Насыщение его ресурсами ПОРЯДКИ не дотягивает до минимально необходимого для минимальной жизни. Он даже тупо по веществу тщедушен: масса всех камней главного пояса всего 4% от Луны! ~ 1 масса Земной коры. При том кора каменной планеты земной массы - уже вся результат гравитационной сеперации, а не хондритно-реголитный хлам (не считая среди них одного процента металлических обломков ядра несостоявшейся планеты).
ЛЮБАЯ жизнь (а цивилизованная - в особенности) всегда населяет только ресурсно-богатые области даже на своей планете. Даже у поверхности Земли и даже сейчас есть стерильные области

"Сравнивать массы небесных тел с их по-сути недоступным расплавленным внутренним содержанием - верх профанации. Но вы упорно на ней настаиваете." - Если Вы ВНИМАТЕЛЬНО прочитаете ещё раз то, что пытаетесь критиковать, то увидите там указание мною только массы земной КОРЫ - это раз. Содержимое самой этой коры есть УЖЕ РЕЗУЛЬТАТ гравитационной сепарации - читай ПРИРОДНОГО ОБОГАЩЕНИЯ пород по множеству элементов. При этом элементы, сепарарованные в ядре - железо и тяжелые железорастворимые металлы - тоже не то чтобы являются остродефицитными для современной земной цивилизации. Это два.

если учесть отсутствие гравитации и паршивые свойства межпланетной среды, технологическая сепарация каких угодно веществ в космосе обойдётся затратнее чем разделение изотопов на Земле. Приговор окончательный и обжалованию без расчетов не подлежит.

- вы унутрить пока ещё отказываетесь: фаза агрессии сменилась фазой торга, но ещё не сменилась фазой принятия.

неомальтузиазм мы не бросим?

Ага - а также токсичность, мясоедение, несобирание марок и презрение к стремлению носителей разных идеологий навешивать всеразличные ярлычки остальным.

Это когда он использовал кольцевую логику: чтобы доказать что хомо сапиенсы не имеют инструментального пессимистического биаса в оценке прогресса, он брал субъективные оценки значимых исследований, которые бы очевидно были бы подвержены этому биасу, если я права?

Моё сообщение за 2021й год:  Что более опасно: глобальное потепление или похолодание? как пруф, что я знакома с концепцией, и мне с ней не нужно знакомиться.

(кликните для показа/скрытия)

И где следующим своим ответом AlexAV прямо уличил ВАс в дезинформации по поводу вымирания в PETM с цитатой? Да - это весьма показательное было обсуждение. Не в ВАшу пользу, впрочем.

А вот кусок наших дебатов с AlexAV на эту же тему (и мы обсуждали кризис воспроизводимости не раз и не два с ним): Долгосрочные перспективы научно-технического прогресса

Где AlexAV далее подробно и логично разъясняет какого именно рода доказательства необходимы для ВАших сильных тезисов и почему. И каковые доказательства Вы тогда так и не смогли предъявить.

О да, давайте теперь ещё магате разгоним.

Это не так-то просто сделать ввиду самих физических особенностей контроллируемой им сферы - как раз по той самой причине, что Земля и её -сферы имеют вполне конечные объёмы. Что стало ясно почти сразу - именно поэтому сабж был инициирован и создан и стороны начали воздерживаться от продолжения активных испытаний ещё до Карибского кризиса и до подписания всяких договоров о нераспространении. А с изобретением нейтринных детекторов - и подавно: всё равно все кому надо будут знать где кто и даже что запустил с делящимися материалами. Поэтому сколь-нибудь большим странам и компаниям в этой области нет смысла что-то там скрывать теперь - по итогу себе дороже выходит, поскольку в этой игре не очень-то находится устойчивого равновесия в положении с нулевой суммой.
Но в массе других игр хозяйствующих субъектов цивилизации - особенно требующих больших объёмов природных ресурсов - ситуация зачастую оказывается совсем иной. И сколько бы вы ни клеймили "неомальтузианство", свинец не никогда трансмутируется в золото в промышленных масштабах, а 2-2 всегда =0.

Вы читали "почему одни страны богатые, другие бедные"?

Нет. Какое это имеет отношение к обсуждаемой теме и тематике основных разделов Астрофорума?

Вы можете представить пятимерный куб?

В принципе да - как это делают все математики: "представьте n-мерный куб и положите n равным пяти". Мы ведь и трёхмерные-то объекты не воспринимаем таковыми, ибо зрение наше - в принципе только двухмерное (а если вспомнить про голографический принцип т'Хоофта, то не только зрение, но и, возможно, сама симулируемая вселенная). Всё что свыше - результат моделирования в высших ассоциативных отделах головного мозга.
Кстати, если Вы думаете, что с ростом измерений в пространстве также и растёт количество фундаментальных сложных объектов в ней типа платоновых тел, то вынужден ВАс огорчить - во всех пространствах с мерностью свыше четырёх существует всего три платоновых тела - n-мерный симплекс ("тетраэдр"), n-мерный куб и n-мерный ортоплекс ("октаэдр"). Аналоги пары додекаэдр-икосаэдр существуют только в трёх- и четырёхмерных пространствах.

Перечислены полезные инструменты, которых раньше не было, и благодаря которым наука стала ещё лучше.

Перечислены инструменты без которых наука раньше вполне обходилась. это по сути инструменты дополнительной верификации, требующие человекочасов труда высококвалифицированных специалистов. И тут вылезает любимая А.А.Семёновым кривая Таинтера.

Технофашисты: евгеника? Гаттака(1997) Дайте две! Когда я уже стану постчеловеком, и обращу в рабов этих тупых слоупоков?

Воп-еврых, Гаттака по содержанию вполне гуманистична: это общество, где не только дефектных не отправляют в биореактор, но и всем обеспечены минимальные социальные гарантии и потребности в пределах рационально-необходимого. А статусными остаются только особо ответственные работы - типа члена экипажа межпланетного лайнера, которые и дозволено занимать только кондиционированным по здоровью особям. В принципе у того же Ефремова описан ровно такой же "технофашизм". Ну и сама life там показана вполне себе hi - везде чистота и порядок - нет бомжей, голодающих и каких-либо форм газовых камер. Так что Гаттака - это совершенно типичная, классическая утопия, а сюжетная драма там тоже вытекает как у Ефремова и ранних Стругацких - на тему того, что "богатые в утопии тоже иногда плачут" - о том, как это может выглядеть.

Вов-торых, описанный ВАми технофошыст относится к настоящему ТехнофошшЫсту также как недалёкий дьяволопоклонник к ТруЪ-Сатанисту: аколит воображает, будто за своё преданное служение будет произведён в адьютанты Диавола. Тогда как настоящий технофошЫст должен совершенно ясно осознавать, что он, также как и миллионы других, послужит лишь малой шестерёнкой в стапелях соборки Бога-Машины и будет вместе со всеми этими стапелями утилизирован когда сборка будет окончена, но Великая Цель Великого Пути в Вечность будет достигнута. Собственно суть уже прекрасно изложена в классике ¾ века тому назад:
"— Вы думаете, — сказал он, — что лицо у меня старое и усталое. Вы думаете, что я рассуждаю о власти, а сам не в силах предотвратить даже распад собственного тела. Неужели вы не понимаете, Уинстон, что индивид — всего лишь клетка? Усталость клетки — энергия организма. Вы умираете, когда стрижете ногти?
— Мы — жрецы власти, — сказал он. — Бог — это власть. Но что касается вас, власть — покуда только слово. Пора объяснить вам, что значит «власть». Прежде всего вы должны понять, что власть коллективна. Индивид обладает властью настолько, насколько он перестал быть индивидом. Вы знаете партийный лозунг: «Свобода — это рабство». Вам не приходило в голову, что его можно перевернуть? Рабство — это свобода. Один — свободный — человек всегда терпит поражение. Так и должно быть, ибо каждый человек обречен умереть, и это его самый большой изъян. Но если он может полностью, без остатка подчиниться, если он может отказаться от себя, если он может раствориться в Партии так, что он станет Партией, тогда он всемогущ и бессмертен."
 

Мне кажется, сильный ИИ будет хорош в решении задач высокой комбинаторной сложности.

Тем не менее в случае задач, которые непосредственно упираются во взрыв вычислительной сложности математических проблем тысячелетия, сколь угодно мощный ИИ вряд ли будет радкально более эффективен, чем тот же вычислительный кластер, на котором запущено моделирование процесса по уже известным относительно простым алгоритмам.

В том числе в интригах-многоходовках и всяческой социальной инженерии. Человеческие хитроумные планы часто идут не туда и не так, потому что нашим обезьяньим мозгам трудно учесть слишком много деталей и красиво сплести слишком много нитей. А у сильного ИИ такого ограничения не будет. Сильный ИИ может иметь досье буквально на каждого человека и знать, за какие ниточки дергать, чтобы получить нужную реакцию.

Ой ли? Даже если иметь погодные датчики на каждом квадратном километре Земли, и на порядок-другой бОльше вычислительные мощности, возможность прогнозировать погоду больше чем на несколько недель не появится - по фундаментальным ограничениям, состоящим во взрыве вычислительной сложности хаотических процессов, описываемых уравнениями Навье-Стокса - нерешённой задачей тысячелетия. Задача многих гравитирующих тел - того же класса. Вы полагаете, что общество и цивилизация живут по менее сложным законам?
Да - колебания погоды статистически не выходят за сезонную климатическую норму, а общества обычно не устраивают изменение своих укладов и форм правления каждое поколение. Но чтобы осуществлять прогнозирование и управление на таком масштабе - уже нет нужды лезть к каждому в постель. Ибо роль индивида в достаточно большом обществе и на историческом масштабе времён вне фазовых переходов оказывается довольно незначительной, поскольку оказывается весьма неплохо уравновешена остальными индивидами. А те "роковые случайности", которые мы знаем из истории - лишь проявление уже объективно существовавшей нестабильности, которая бы всё равно обвалилась если не в тот раз, а может чуть позже и возможно даже ещё сильнее.

Это может быть изощренная реклама, умелая пропаганда, взращивающая фанатиков, еле заметное управление случайностями, приводящее человека в нужное место в нужное время (например, организация его знакомства с другим человеком противоположного пола, если ИИ решит, что от этих двух людей будет многообещающее потомство, или наоборот, организация несчастного случая, если человека нужно устранить). По сути это может быть удушающая тирания, но она не будет восприниматься таковой, разве что самыми прозорливыми из людей.
Владея навыками социальной инженерии, сильный ИИ может значительно сократить количество ресурсов, идущих на потребление людьми, но избежать социального взрыва или даже ползучего саботажа.

Всё уже давно описано до нас.
Отрывок из статьи М.Сухарева, написанной ещё в 2000 (!) году:...Одним из таких событий был разговор с изобретателем и писателем Рэем Курцвейлом (Ray Kurzweil) на одной из конференций...

Вика, Валерий - вы же старше меня и я думал, что вспомните, что ещё задолго и до Сухарева с Курцвейлом на рубеже тысячелетий старый добрый Станислав Лем описал то пол века тому назад - в эссе "Корпорация «Бытие»" сборника "Абсолютная пустота" 1971 года!

Это страшная страна. Мы докатились до ручки.

А Вы знаете какие-то страны, которые не были страшными в то время, когда на их территории велись достаточно масштабные боевые действия (вообще безотносительно того, кто "виноват" в - п.3.1.е ПАФ)? Может быть не была страшной жизнь в городах Испании незадолго до или в Англии во время ВМВ, когда журналист BBC Э.А.Блэйр задумывал и писал два своих романа, которые станут классическими? Думаете он их исключительно на базе воспоминаний беженцев "с той стороны" написал? Думаете много ли - даже не аппарат госнасилия, а само общество тогда - давало свободы, например, распространять идеи типа "не следует отвечать на ракетные атаки по Лондону ковровой бомбардировкой Дрездена" или "не следует отвечать на налёт на базу ВМФ Перл Харбор бомбардировкой Хирошимы"?
Вы знаете в истории страну, в которой во во время достаточно продолжительных и активных боевых действий не где-то в колониях, а непосредственно на ней/сопредельных территориях голос пушек не заглушал голоса муз?