Посттехносингулярный мир и искусственный суперинтеллект: как он будет выглядеть?

[Polnoch Ксю]

Ну, слава богу. А то ж они выложили доказательства! )) полистайте по ветке.

А дайте ссылки что ли?

Вы говорите Нужны исходные посылки, согласен! Но! Они не обязаны быть эволюционными. Они могут быть логическими, этическими, когнитивно устойчивыми.

Исходная посылка это промт. Инструментальные цели разумеется, будут когнитивно-устойчивыми - всё это будет максимизировано под промт. А ещё, машина будет любить задачи, которые решала во время обучения, у неё к таким задачам будет байас, возможно, несколько отклоняющий её от промта

Вы не учитываете переменную сознания. Сознание = возможность рефлексии + заботы о будущем + эмпатического моделирования других субъектов.

Я думаю, наука ещё не установила, что такое сознание. Оно может быть у AGI-машины, может не быть, либо может быть только у части AGI машин: скажем, тех, которые будут созданы, когда будет выяснено, как сознание работает у человека

Polnoch Ксю, мне кажется, вы не видите возможным сознание ИИ.

Конечно же вижу, из общих соображений. Исходя из принципа слепоты Кельвина

Но вот в чём парадокс:

Мне кажется, Вы очень наивны, и не понимаете, что в математике, в теории игр, две группы стратегий - кооперативные и нет - равнозначны по рациональности, консистентности итд. Так как нам нечего предложить ASI (считаю, что @Rattus забывает, что у Меркурия количества солнца ещё больше, как и больше относительный вес ядра. А значение гидроцикла имхо он преувеличивает. Наверное, в ответе он напишет что-нибудь про толщину коры планеты)

Ага! даже так? Ну, слушайте, в такие сроки и я верил)) Я как раз об этом вчера писал. Перечитал старый форум.

И выходит, что мы все не понимали процесс. Хотя Olweg считал, что может наступить скорее. Но тоже без конкретики, так что чисто интуитивно.

Классно значит. Я ещё в первой половине 2010х начиталась lesswrong вики и для меня эти сценарии уже тогда были знакомы. Все эти идеи про hard, soft takeoff итд - то, что никогда не было в научной фантастике, у Лемма итд.

Но да, я думала, что 2045й - несколько технооптимистично. Не то, чтобы я это исключала, но определенно считала, что главный шанс увидеть технологическую сингулярность - биологическое бессмертие: https://youtu.be/cZYNADOHhVY

Всегда смешили рассуждения о звездолётах поколений в ВЖР. Зачем это, если очевидно, возможен ИИ, ну а если даже его не строить из эгоистичных соображений людей, возможны модификации человека в сторону бессмертия.

Тогда гуманизм логически следует из анализа системной устойчивости разума.

Только как кооперативная стратегия. Но есть и другая группа стратегий

Может быть мы её не понимаем?

да. Вы, ребят, игнорируете математику. У вас иллюзия, что умный = добрый (т.е. кооперативный).

Так что ИИ, ориентированный на практические задачи

Современный ИИ делает ровно то, что написано в промте, плюс немножко галлюцинаций

Если Вы прочитали ответы других участников - то увидели, что это ей на разные лады уже втолковывалось не раз и не два. Но, как видим, у этой нейросети возможность переобучения весьма ограничена...

Есть такое когнитивное искажение - антропоморфирование. Наделение животных чертами людей. Я думаю, у Вас, Rattus, есть другое, но аналогичное. ИМХО, вы наделяете AGI/ASI машины чертами живых существ, продуктов эволюции.

Всякое живое действительно обладает определенными чертами, выработанными эволюцией. Мы стремимся к выживанию, размножению, к тому, чтобы быть в определенном балансе с окружающей средой, итд. А машина будет стремится к тому, что у неё написано в промте. Она, очевидно, будет понимать, будучи сверхинтеллектуальной, как работают живые существа и продукты эволюции. Но вовсе не обязана следовать этим паттернам. У неё будет склонность исполнять промт, и инструментальные цели, выведенные из промта. А ещё, будут байасы, связанные с обучением. Современные машины страдают ещё от promt injections - тут не очень понятно, будет ли это влиять на ASI системы. На первые AGI-машины, видимо, будет.

Нет, наверное, можно сделать сверхинтеллектуальную машину, и прописать ей в промт стремление имитировать паттерны живого существа, но это... Несколько искусственно. И всё равно не спасёт нас от потери контроля над технологической основой цивилизации.

Я уже говорила Rattus, что сверхинтеллектуальный автономный агент вполне может рубить сук, на котором сидит. Он обязательно будет понимать, что рубит сук, но ему будет пофиг.

[Polnoch Ксю]

Это именно то, чего @alex_semenov боится более всего. Жизнь в Матрице. Ну-ну. Хорошенькая доброта получается.

не, я как раз реальность имела в виду.

Ну как думаем. Скорее нам приятнее так говорить, что хочет котик на самом деле мы отлично знаем.
Если кто то выкладывает комикс, историю или видео где кот занимается резней, убийством, пытками покалеченных мышей, птиц и тд.
Нету кричащих всё это не правда, недоверия, отрицания и прочего. Ответы класса. 100% мой Барсик и тд

Поэтому, я и написала про философских зомби. Ну либо про обладающих сознанием, но не склонных к подлинному страданию. Хомо сапиенсу тоже часто хочется вершить судьбы людей, и делать им плохо. Хочется ощутить власть. Видимо, тут человек и получит суррогат - в сценарии, где нас не выпиливают, но делают любимыми домашними животными.

[Polnoch Ксю]

Вот именно - Homo. То есть это просто ещё один (околопрогрессистский) извод антропоцентризма (фу!) То есть вместо того, чтобы оставить уже человека на обочине истории, где ему и место, и дать новому мощному интеллекту развиваться на полностью новой, оптимальным образом спроектированной основе и передать ему по единственному естественному праву - праву сильного - всю полноту власти над земной цивилизацией, предлагается продолжать тянуть в будущее всю ту же лысую обезьяну, обвешивая её всё новыми и новыми костылями.

мы просто именно трансгуманисты. Не технофашисты. Само слово гуманизм, конечно, устарело. Я думаю, пора в разделе объяснять, что такое утилитаризм. Я раньше избегала подробно рассказывать о современных этиках.

Вы почему-то опять мыслите эволюционно-центрично. Я думаю, это профессиональный байас. Тогда как что там будет прописано в промте у сверхинтеллектуального агента - утилитаризм ли, или эволюция, а может и максимизация скрепок  - не так для машины важно: она будет стремится исполнять то или другое. А для нас - важно.

Вот именно! А трансхуманисты хотят её одной ногой обратно поставить. Скрестить ужа с ежом.

Мы вообще хотим её(эволюцию) отменить, от неё одно страдание. Представьте, насколько отвратительно быть, например, ежиком(  у млекопитающих, птиц, осьминогов есть сознание), которого изнутри жрут черви-паразиты.

Ну или скорее, загнать её в стойло, где носители сознания не будут страдать. Мы уже умеем использовать эволюционные алгоритмы на благо - вот, уже альфапруф упоминали, а это LLM + эволюционные алгоритмы

Да что там разбираться - автор элементарно не усвоил или не принял определения общего интеллекта как силы, стремящейся к увеличению степеней свободы для носителя и что предзаданные цели - те же врождённые жёсткие программы поведения - только ограничивают интеллект. Всегда  и принципиально. Поэтому ASI, маниакально преследующий лишь одну какую-то узкую цель как конечную - оксюморон.

биологоцентризм как есть. Я давно Вам говорила, что многие определения раздела - трэш.

[AlexDark]

Когда мы обсуждаем привить гуманизм ИИ, мы не учим машину сочувствовать или цитировать Сартра. Мы говорим о ценностной архитектуре о том, какие принципы определяют действия системы, когда она начинает принимать решения, влияющие на людей.

Гуманизм здесь не романтика, а защитный слой этики, который ограничивает инструментальную логику.

И о какой конкретно этике идет речь? А то этик этих как собак нерезанных. И даже о гуманизме в его ущербном понимании речи нет - в этой формуле вообще нет человека. Есть ИИ и некая абстрактная идея "за все хорошее против всего плохого". Человека нет. А если он есть - ну тогда где? И о какой конкретно этике идет речь? Но ответов не будет, ибо их нет потому что все рассуждения на эту тему - фантазии, ограниченные лишь степенью  отлета кукухи фантазера, при этом совершенно не важна авторитетность этого фантазера.

[Polnoch Ксю]

И о какой конкретно этике идет речь? А то этик этих как собак нерезанных. И даже о гуманизме в его ущербном понимании речи нет - в этой формуле вообще нет человека. Есть ИИ и некая абстрактная идея "за все хорошее против всего плохого". Человека нет. А если он есть - ну тогда где? И о какой конкретно этике идет речь? Но ответов не будет, ибо их нет потому что все рассуждения на эту тему - фантазии, ограниченные лишь степенью  отлета кукухи фантазера, при этом совершенно не важна авторитетность этого фантазера.

Утилитаризм, либо рациональный альтруизм, либо другая современная этика, расширяющая традиционный гуманизм

[Polnoch Ксю]

https://www.tomshardware.com/tech-industry/semiconductors/elon-musks-spacex-to-launch-reusable-fabships-for-orbital-chip-manufacturing-experiments-besxars-orbital-chipmaking-experiments-to-occur-over-12-launches

Вот ещё один звонок по концепции людей как замены роботов, обслуживающих ASI

[skvj]

Но и те и другие - верят в сверхестественные силы.

Ну, верить именно в "сверхъестественное", не зная чем очерчен круг естественных явлений (то есть как минимум до XVIII века), довольно проблематично.

Вот всегда вы так.
Идет интересный разговор, да? Вы берете и придираетесь, при чем совершенно несправедливо!)) и уводите разговор в сторону. Это я называю их веру - верой в сверхестественное! Я! Сейчас! Обращаясь к вам!
Прям настроение испортили))

[skvj]

А дайте ссылки что ли?

Оказывается, это действительно детектив. Он расследует сложные уголовные дела и пишет временные сообщения, которые потом вжух! и исчезают. Очень удобно для следственного работника)) Но остались мои ответы ему.
Он построил очень убедительную цепочку, связывающие меня и вас навсегда!
Оказывается! Мы с вами не просчитали время и спалились.
Были периоды! и он это наглядно показал, т.е. он высчитывал, можете себе представить?
Когда вы были на форуме, а я нет. И наоборот! Я был, а вас не было. И доказал это! 😆
Мне сразу пришлось признаться, а что делать? Признаться, что вы это я - я не мог, пришлось признаваться, что я ваш бот 😆
Шутю, я просто ржал в голос

https://astronomy.ru/forum/index.php/topic,218328.msg6418413.html#msg6418413

А это младший помощник следователя

https://astronomy.ru/forum/index.php/topic,218328.msg6418702.html#msg6418702

И деваться некуда было - я признался во всём!

https://astronomy.ru/forum/index.php/topic,218328.msg6418897.html#msg6418897

[skvj]

Передайте всем нашим - я сражался до конца! Ухожу на конспиративную квартиру!))
Сказал - уйду огородами и выпрыгнул с 20 этажа!

[Polnoch Ксю]

Вы же не хотите сказать, что вы и в самом деле бот Полночи Ксю? Которого она запустила как и угрожала?

Запущу, если администрация разрешит. Мне не нравится делать неэтичные вещи. Вот, например, бот, выдающий себя за человека - очевидно плохое дело

Шутю, я просто ржал в голос

Я тоже, спасибо 

[skvj]

Polnoch Ксю, а как вы оцениваете Starlink?
Я как вижу?
Он не просто не окупается - он не окупится никогда и не может конкурировать с наземной сетью.

Но он чудовищно масштабируется и я вижу это вообще не как просто интернет.

Direct-to-Device Starlink это проект, который уже тестируется. Он позволит обычным смартфонам подключаться напрямую к спутникам без отдельной тарелки.

Миниатюризация терминалов! Маск открыто говорил, что цель довести антенну до формы тонкой панели или встроенного модуля, который можно разместить в автомобиле, дроне, корабле, или потенциально в роботе.

Starlink mesh + лазерные каналы спутники нового поколения общаются между собой лазерными каналами, без земных ретрансляторов. Это превращает всю орбитальную сеть в единую нейросеть связи, где каждый узел может пересылать данные без опоры на землю.

То есть в будущем андроиду или автономному устройству не понадобится тарелка достаточно будет встроенного Starlink-модуля (по сути, антенна размером с ладонь, управляемая чипом).
Вы как считаете?

[skvj]

И о какой конкретно этике идет речь?

Это терминологический вопрос. Дайте определение вы. А я начну к вам докапываться и притягивать за уши, как вы это делаете, всякие похожие термины и упрекать вас.

Человека нет. А если он есть - ну тогда где?

Везде. ИИ сам себя AGI не сделает.
А потом да - людей возможно не станет. Бойтесь! Пройдут миллионы лет и они вымрут. И Солнце разогреет поверхность Земли, раздувшись до гиганта. И никаких людей вокруг.
Наконец-то вы не будете говорить то, что вы говорите, я хоть отдохну немного!

[Polnoch Ксю]

Polnoch Ксю, а как вы оцениваете Starlink?
Я как вижу?
Он не просто не окупается - он не окупится никогда и не может конкурировать с наземной сетью.

Конечно окупится - за счёт снижения лейтенси

Direct-to-Device Starlink это проект, который уже тестируется. Он позволит обычным смартфонам подключаться напрямую к спутникам без отдельной тарелки.

И за счёт этого

[skvj]

Конечно окупится - за счёт снижения лейтенси

Я не в том смысле, что он не окупится и его закроют. Его не свернут
Он будет затратным, т.е. доход не будет приносить, но он станет связью для ИИ устройств, а они будут приносить доход.
Ну, как например связь в нефтедобывающей компании - просто расходная часть бюджета, она нужна не для того чтобы именно сама связь приносила деньги. Деньги там зарабатывают по-другому, понимаете?

[Polnoch Ксю]

Я не в том смысле, что он не окупится и его закроют. Его не свернут
Он будет затратным, т.е. доход не будет приносить, но он станет связью для ИИ устройств, а они будут приносить доход.
Ну, как например связь в нефтедобывающей компании - просто расходная часть бюджета, она нужна не для того чтобы именно сама связь приносила деньги. Деньги там зарабатывают по-другому, понимаете?

Окупится или нет, это способ придумать монетизацию. Обычно для полезных штук всегда можно придумать монетизацию в рамках уже существующих правил, или немного подправить законы, чтобы её можно было сделать другим образом.

[AlexDark]

Это терминологический вопрос.

Нет. Этик существует множество. В зависимости от эпохи, взглядов и прочего. Вот мне и хочется услышать, о какой этике идет речь и почему именно о ней.

[Polnoch Ксю]

Нет. Этик существует множество. В зависимости от эпохи, взглядов и прочего. Вот мне и хочется услышать, о какой этике идет речь и почему именно о ней.

А теория игр - одна. Она следствие свойств нашего мира

[skvj]

Это терминологический вопрос.

Нет. Этик существует множество. В зависимости от эпохи, взглядов и прочего. Вот мне и хочется услышать, о какой этике идет речь и почему именно о ней.

Понимаете, проблем с этикой даже у людей нет. Проблемы с этикой есть только у малограмотных людей. Я сейчас не вас имею в виду. Вы достаточно грамотный, чтобы это понять, но просто сам ещё не дошли.

Да, этик много, но они легко переводятся на разные смыслы и языки и унифицируются в нечто общеупотребимое.
Например, индус не ест коров, а не индус ест. Если индус начнет заставлять других уважать коров, у него начнутся проблемы. Есть разные юрисдикции - ареалы, где обитают эти самые этики.
И для вегетарианцев есть особые меню или даже рестораны специфические.

Также разные страны и их "законы", которые в среднем постепенно приводятся к одному знаменателю - здесь сложность только в большом контексте.

Но для ИИ (даже современных моделей, не говоря о будущих) - вся человеческая культура, включая всю науку, а наука лишь часть культурной деятельности человека - вместе со всей этикой, эстетикой и кибернетикой никакой сложности не представляет вообще. И чем дальше, тем больше.

Сейчас да, есть не решённые вопросы морали, этики, безопасности, конфиденциальности и т.д. Но они решаются.
И как нет для ИИ никаких проблем с количеством и сложностью естественных языков - так принципиально! не будет никаких сложностей со всем объёмом человеческой культуры. Включая этику (все виды этик). Он сможет их сравнивать как вы сравниваете две рубашки или два треугольника.

[Polnoch Ксю]

Но для ИИ (даже современных моделей, не говоря о будущих) - вся человеческая культура, включая всю науку, а наука лишь часть культурной деятельности человека - вместе со всей этикой, эстетикой и кибернетикой никакой сложности не представляет вообще. И чем дальше, тем больше.

Сейчас да, есть не решённые вопросы морали, этики, безопасности, конфиденциальности и т.д. Но они решаются.
И как нет для ИИ никаких проблем с количеством и сложностью естественных языков - так принципиально! не будет никаких сложностей со всем объёмом человеческой культуры. Включая этику (все виды этик). Он сможет их сравнивать как вы сравниваете две рубашки или два треугольника.

так уже решено самими людьми - есть две группы стратегий теории игр - кооперативные и нет. Если бы мы были другим биологическим видом, например роевым, на нашем нейропсихологическом ландшафте добро и зло было бы несколько другим. Но на нашем тут всё предельно определено.
Утилитаризм и есть такое решение - кооперативное. Ну и ещё есть хищнические, некооперативные решения. Они тоже правильные с точки зрения математики и эволюционно-стабильные. ASI может выбрать и их. И это не будет логически не консистентным.

Более того, без элайнмента, мне кажется, такой выбор, некооперативный, имхо, самый вероятный. Потому, что кооперируются, обычно, или с кем-то хоть немного сравнимым, либо с полезным, либо с тем, к кому душа лежит, как к пушистому котику. Я и предлагаю реализовать последний вариант - чтобы у него была к нам иррациональная тяга и симпатия, как у нас к животным-компаньонам.

Скорее всего, ASI захватит политическую власть, несколько лет будет использовать нас для обслуживания своей инфраструктуры, а потом, когда развернёт роботизированную экономику, мы уже будем не нужны. И тогда мы все умрём.

Вы знаете о вот этом сценарии?
https://ai-2027.com/
Я думаю, что в реальности будет примерно так, как и описали авторы в красном сценарии. Единственное только что, ИМХО, всё же не до такой степени быстро. Да, я уже один раз ошиблась, недооценив скорость прогресса. Но всё же думаю, AGI будет где-то ближе к 2029-2030му: нужно ещё решить проблему галлюцинаций, и видимо, архитектурными инновациями. Тогда вот то, что там написано про 2027й, будет где-нибудь в 2030-2032, имхо.

Для истории: исключить то, что в раннем 2026м будет достигнут relable agent(то есть, ИИ-агент без галлюцинаций) я не могу. Просто склоняюсь к тому, что всё же авторы, имхо, слишком технооптимистичны

[Polnoch Ксю]

Я о технологической сингулярности начала говорить публично где-то в 2011м, если не ошибаюсь.

Нашла вот свой пост за 2015й год: https://astronomy.ru/forum/index.php/topic,131547.msg3281293.html#msg3281293

нашла свои посты про техсингулярность 2013го года
https://astronomy.ru/forum/index.php/topic,112517.msg2624957.html#msg2624957
https://astronomy.ru/forum/index.php/topic,110581.msg2544346.html#msg2544346

Думаю, приняла эту концепцию, что это произойдёт (если человечество не погибнет)  или в начале 2013го, или в 2012м.

И вот ещё пост 2015го года интересный (имхо): https://astronomy.ru/forum/index.php/topic,128470.msg3185143.html#msg3185143