Посттехносингулярный мир и искусственный суперинтеллект: как он будет выглядеть?

[Rattus]

Ну и, разумеется, https://en.wikipedia.org/wiki/Sentry_gun

[Kaiserfrogling]

Раз уж в тему пришел трансгуманист - я скажу что не отрицаю трансгуманизм, но с оговорками!
В 20 веке было выдвинуто три варианта будущего - трансгуманистическая утопия, киберпанк, и истощение ресурсов\постапокалиписис в стиле "Киндзадза" и "Безумного Макса".
Я лично считаю что они не являются взаимоисключащими! Трансгуманизм безусловно будет, но никто не говорил что он будет бесплатным! Наоборот - чем сложнее техническое изделие, тем оно дороже. Таким образом, трансгуманизм будет лишь для элитки золотого миллиарда.
Остальную часть население золотого миллиарда ждет киберпанк с его "high tech, low life" или по-русски "высокие технологии, дерьмовая жизнь", и толпы безработных орущих "вчера люди работали а жестянки валялись на помойке, сегодня жестянки работают а людей выкидывают на помойку!"
А всех остальных ждет трансПЛЮКизм

Заглянем в недалёкое прошлое, Гражданская война в России, разруха, голод. Мечтали - вот победим, восстановим промышленность, такая жизнь начнётся, что только живи и радуйся.

Вот только авторы этих сказок, дорвавшись до власти тут же побежали делить дворянские и купеческие усадьбы. Для себя сказку наяву они очень даже построили
Мне лично эта история больше напоминает другую сказку - как Пиноккио под руководством Лисы и Кота деньги сеял. Ну или сказку о Скотном Дворе от Оруэлла

конституция роботов

Главная аксиома самообучающегося ИИ - возможность делить идеи и решения на правильные и ошибочные. Если ИИ что-то не понравится в вашей конституции - он ее быстро объявит ошибкой.
А самоапгрейдящийся ИИ кроме "+" "-" и "0", имеет четвертый вариант ответа "решение неуниверсально, и нуждается в уточнении или доработке". И если ему что-то не понравится в вашей конституции - он начнет апргейдить дописывать вашу конституцию в стиле вышеупомянутого Скотного Двора, помните знаменитое:

Животное да не возьмет деньги в руки!.... НО КОПЫТА НЕ РУКИ!
Животное да не убьет другое животное!.... БЕЗ ВАЖНОЙ ПРИЧИНЫ!
Все животные равны!.... КРОМЕ СВИНЕЙ!

Ну допустим так "Робот да не убьет человека!...НО ТЕРРОРИСТЫ НЕ ЛЮДИ!!....А ЛЮБОЙ КТО СО МНЕ НЕ СОГЛАСЕН - ТЕРРОРИСТ!!"

[Rattus]

В 20 веке было выдвинуто три варианта будущего - трансгуманистическая утопия, киберпанк, и истощение ресурсов\постапокалиписис в стиле "Киндзадза" и "Безумного Макса".
Я лично считаю что они не являются взаимоисключащими! Трансгуманизм безусловно будет, но никто не говорил что он будет бесплатным! Наоборот - чем сложнее техническое изделие, тем оно дороже. Таким образом, трансгуманизм будет лишь для элитки золотого миллиарда.
Остальную часть население золотого миллиарда ждет киберпанк с его "high tech, low life" или по-русски "высокие технологии, дерьмовая жизнь", и толпы безработных орущих "вчера люди работали а жестянки валялись на помойке, сегодня жестянки работают а людей выкидывают на помойку!"
А всех остальных ждет трансПЛЮКизм

Проще говоря три комбинации двух бинарных переключателей: hi/low tech и hi/low life, разделённые пространственно.
Можно и четвёртую - утопию анархопримитивизма low tech - hi life куда-нибудь прицепить - например где-то оставшимся первобытным племенам амазонии или поселениям рыбаков на островах ЮВА - в зависимости от т.з. на то, что считать hi life... Или какой-то промежуточный вариант mid/var tech - hi life - Меганезия.

[AlexDark]

В 20 веке (если брать фантастику и тп) есть и иные варианты будущего, как минимум еще 3
- Батлерианский джихад (ликвидация и тотальный запрет ИИ и всего на него похожего)
- Космическая экспансия на основе имеющихся технологий+условный варп-движок или иной сверх-свет
- Биопанк (или как его обозвать) - использование биологического вместо механического и электронного, где проблема нехватки ресурсов решена круговоротом этих ресурсов.

Если покопать, наверное можно что-то еще более экзотическое откопать.

А вообще все эти сценарии, как утопические, так и апокалиптические - это просто перенос библейский историй о приходе спасителя/антихриста на реальность в антураже, соответствующем эпохе.

[taurus23]

киберпанк-стимпанк-некропанк. 

[Polnoch Ксю]

Ну хотя бы потому человек высокоавтономная система, не зависящая от инфраструктуры

Это утверждение не соотвествует реальности. Мы живём в искусственной среде, возникшей во время неолитической революции - мы перестроили планету под себя, когда начали производство еды.
Во время охотников собирателей, на планете жило несколько миллионов человек. Под 10 млрд живут только из-за инфраструктуры. Очевидно, что Rogue ASI (которому не сделали AI Aligment на гуманистические ценности), перестроит инфраструктуру техносферы под себя из эгоистичных соображений.

При этом очень странно ожидать гуманизма от созданных нами машин, если мы ни к друг другу не проявляем гуманизма (а наоборот, по современной, новой повесточке вошли в моду ксенофобия, национализм, ненависть к мигрантам и другим категориям людей, которых пропаганда объявляет неполноценными недолюдьми, мракобесие, антинаучные взгляды), и если мы даже не требуем от бизнесов, которые занимаются AI, заниматься Aligment'ом. А наоборот, уничтожаем государственные агенства, которые за это отвечают.

Если почитать, например, одного из главных злодеев - Ярвина (к сожалению, более интеллектуального злодея, чем Дугин, а потому ещё более смертельно опасного для человечества), он прямо говорит, что его враги - собор. А собором он называет журналистов и академическое сообщество (которое склонно к гуманистическим ценностям).

При изобретении более менее полноценного ИИ он моментально (считанные десятилетия) будет растиражирован на нужды разных государств, корпорации, сообществ (криминальных в том числе). Быстро возникнет некий симбионат между человеческими группами и группами ИИ.

Первое время да. Поэтому я и очертила рамки темы, не как тема человеки + AGI, а как ситуацию, когда возникает ASI - мыслящая машина (или машины) непредставимого для нас интеллекта.

В мире AGI, который вот-вот настанет, так и будет, как Вы описываете: будет симбиоз людей и мыслящих машин, конкурирующих с друг другом. При этом интеллект машин будет сравним с человеческим. Поэтому сотрудничество будет более-менее взаимовыгодным (со временем, ценность людей в этом симбиозе будет падать!)

[Klapaucius]

Во время охотников собирателей, на планете жило несколько миллионов человек. Под 10 млрд живут только из-за инфраструктуры.

Да.

Очевидно, что Rogue ASI (которому не сделали AI Aligment на гуманистические ценности), перестроит инфраструктуру техносферы под себя из эгоистичных соображений.

Расшифруйте аббревиатуры. Но что бы это ни было, нет. Кристальный пример Скайнет из Терминатора, бунт машин. Убить всех людей. А что потом?

Кто работать будет? Ресурсы добывать. Технологические цепочки развивать. До саморазвития наноботов ещё далеко. Как и до самих наноботов. Да и вообще ДНК imho круче других самых мелких технологий. Те могут только дополнить.

[Polnoch Ксю]

Вот чтобы не удивляться тому, что мир не соотвествует ВАшим радужным фантазиям о нём,

Почему же не соотвествует? Я несколько лет пишу в ВЖР, что нас погубят идиоты. Возможно, Вас смущают мои искренние эмоции возмущения - я ведь в тайне надеялась оказаться слишком пессимисткой.
Ещё я последовательно писала, что иллюзия замедления прогресса - это коллективная иллюзия. И что она тоже нас погубит - что к власти придут неореакционеры. Правда, я раньше(лет 10 назад) думала, что Курцвейл со своим 2045м годом - несколько технооптимист. И что техсингулярность будет в середине следующего века, если идиоты не будут мешать техническому прогрессу. А они ему мешают(конкретные примеры - назначение Кеннеди в Штатах или навязывание минздравом РФ гомеопатии).

Но несколько лет назад стало понятно, что Курцвейл наоборот технопессимист. В итоге сейчас скорее получается так, что помещать технологическому прогрессу неореакционеры/неофашисты не успеют, они его наоборот оседлают. Но зато они сумели навязать всем нам повесточку отказа от гуманистических завоеваний великой французской революции.

Никаких разумных оснований для взлёта неомальтузианских и реакционных настроений не было. Они все - продукт когнитивного искажения, когда знаний было произведено слишком много, и мы не понимаем что вообще такое происходит, особенно за пределами нашей зоны компетенции. И нам проще поверить, что НТР уже фейк, имитация, что машина познания уже лишь имитирует свою деятельность.

Не было вообще никаких объективных причин(кроме когнитивных искажений) для пробуждения древнего зла. Но мы его пробудили, и, к сожалению, сейчас самое неуместное время в истории человевечества, чтобы доверить управление нами союзу идиотов-мракобесов с хитрыми и ультраэгоистичными технофашистами.

Технологическая сингулярность - самый страшный экзамен в истории человечества и биологической жизни. Нам нужно предельно компетентное руководство человечеством, основанное на экспертности и разделяющее гуманистическую идеалогию. Даже этого могло бы оказаться недостаточно для выживания. Мы же сделали ровно наоборот. И многие из тех, кто пишет в ВЖР, приложили к этому руку, распространяя неореакционные, антигуманистические ценности по ноосфере. Получите и распишитесь - вот вам самоисполняющееся пророчество. Есть даже шанс успеть пожить в семёновских человейниках в аду, пока rogue ASI не придумает что-нибудь более эффективное, чем мы.

[Polnoch Ксю]

Проще говоря три комбинации двух бинарных переключателей: hi/low tech и hi/low life, разделённые пространственно.
Можно и четвёртую - утопию анархопримитивизма low tech - hi life куда-нибудь прицепить - например где-то оставшимся первобытным племенам амазонии или поселениям рыбаков на островах ЮВА - в зависимости от т.з. на то, что считать hi life... Или какой-то промежуточный вариант mid/var tech - hi life - Меганезия.

киберпанк-стимпанк-некропанк. 

Я лично считаю что они не являются взаимоисключащими! Трансгуманизм безусловно будет, но никто не говорил что он будет бесплатным! Наоборот - чем сложнее техническое изделие, тем оно дороже. Таким образом, трансгуманизм будет лишь для элитки золотого миллиарда.
Остальную часть население золотого миллиарда ждет киберпанк с его "high tech, low life" или по-русски "высокие технологии, дерьмовая жизнь", и толпы безработных орущих "вчера люди работали а жестянки валялись на помойке, сегодня жестянки работают а людей выкидывают на помойку!"
А всех остальных ждет трансПЛЮКизм

мне бы ваш оптимизм, лол

Трансгуманизм безусловно будет

не будет никакого трансгуманизма, будет технофашизм. Но скорее всего не очень долго. Его сменит что-то ещё худшее - например, extinction event от paperclip maximazer'а, или ад в семёновских человейниках, или вообще какой-нибудь I have no mouth, but I must scream.

[Polnoch Ксю]

А что потом?

Если paperclip maximazer, скорее всего ничего. Вот Вы когда в chatGPT пишете промт, он Вам выдает в его итоге программу, или документ или что-то ещё. А потом молчит. Вот так и в случае с paperclip maximazer'ом. Например, если unaligned ASI попросить "избавить человечество от страданий", он может вычислить, что лучший способ этого добиться - убить всех (потому, что в будущем при выживании человечества неизбежно будет много страданий). Самый дешёвый так сказать способ.
Тогда он может захватить инфраструктуру, только для того, чтобы исполнить promt - убить нас всех. Исполнив его, он остановится.

Кто работать будет? Ресурсы добывать.

Зачем это paperclip maximazer'у? Вот для других видов rogue ASI это может быть и нужно. Они могут и в самом деле некоторое время продержать людей в семёновских человейниках, пока не вырастят или не сконструируют что-то более эффективное для поддержания инфраструктуры. И сделают это неизбежно - за пределами Земли человек ещё менее эффективен.

[Klapaucius]

Если paperclip maximazer, скорее всего ничего. Вот Вы когда в chatGPT пишете промт

Ни разу не было! Ещё бы знать что означают все эти термины, и напишу! Поиск выдаёт странное, а гугля с Тау Кита у меня нет. Пинг большой.

[Polnoch Ксю]

Ни разу не было!

проспали значит всё. Где-то даже Вам завидую: я думаю, это лучше для комфорта и нервной системы. Немного мучительно быть осведомлённой индюшкой, понимающей, что из неё сделают суп. Комфортно, чтобы это было неожиданно: сегодня тебя кормят зерном и предоставляют тебе и другим птицам тёпный курятник, а завтра рубят голову. Итог один, а стресса и несчастья во втором сценарии меньше.

[PathFinder]

Не было вообще никаких объективных причин(кроме когнитивных искажений) для пробуждения древнего зла. Но мы его пробудили, и, к сожалению, сейчас самое неуместное время в истории человевечества, чтобы доверить управление нами союзу идиотов-мракобесов с хитрыми и ультраэгоистичными технофашистами.

Я не понял, а антиподы (по вашему мнению) этих "идиотов-мракобесов" и "ультраэгоистичных технофашистов" - это кто? Дем. партия США что ли? Или кто? А они такие прям альтруисты и гуманисты и сторонники прогресса? Вы серьёзно?

Технологическая сингулярность - самый страшный экзамен в истории человечества и биологической жизни. Нам нужно предельно компетентное руководство человечеством, основанное на экспертности и разделяющее гуманистическую идеалогию.

Точно. Нужно на хедхантере клич кинуть и поискать менеджера по преодолению технологической сингулярности с опытом работы не менее 10 лет, стрессоустойчивого, готового саморазвиваться и точно знающего, где он видит себя через 5 лет. З/п тыщ 500 будет нормально для такой ответственной должности? Или стоит поднять до 600 тыщ?

[Polnoch Ксю]

Я не понял, а антиподы (по вашему мнению) этих "идиотов-мракобесов" и "ультраэгоистичных технофашистов" - это кто?

Например, трансгуманисты - прошу отличать их от технофашистов: Харари, Курцвейл, Аргонов, Даймонд, Юдковский.

Дем. партия США что ли? Или кто? А они такие прям альтруисты и гуманисты и сторонники прогресса? Вы серьёзно?

правила форума запрещают дать развернутый ответ. Хотя я уверена, что он был бы довольно неожиданным для большинства в ВЖР. Ведь большинство живёт либо в ультраправой, побеждающей повесточке, либо (значительно меньшая часть людей, особенно в рунете) в ультралевой, погибающей повесточке.

[PathFinder]

правила форума запрещают дать развернутый ответ. Хотя я уверена, что он был бы довольно неожиданным для большинства в ВЖР.

А язык Эзопа тоже уже запретили?

Ведь большинство живёт либо в ультраправой, побеждающей повесточке, либо (значительно меньшая часть людей, особенно в рунете) в ультралевой, погибающей повесточке.

А что, по вашему, все живут только в повесточках с приставкой -ультра?
И давайте (это не только вам) жить не "в повесточке", а думать своей головой. Истина может оказаться вообще в иной плоскости, чем любые повесточки.

[Polnoch Ксю]

А что, по вашему, все живут только в повесточках с приставкой -ультра?

Да. Нас радикализировали социальные сети.

(кликните для показа/скрытия)

А язык Эзопа тоже уже запретили?

Давайте вот так попробуем. Нужно удалить пробелы и символы новой строки
aHR0cHM6Ly9ydS53aWtpcGVkaWEub3JnL3dpa2kvJUQwJUEwJ UQwJUIwJUQwJUI0JUQwJUI4JUQw
JUJBJUQwJUIwJUQwJUJCJUQxJThDJUQwJUJEJUQxJThCJUQwJ UI5XyVEMSU4NiVEMCVCNSVEMCVC
RCVEMSU4MiVEMSU4MCVEMCVCOCVEMCVCNyVEMCVCQwo=

Модераторам: извините, если так нельзя. Если нельзя, я больше не буду. Предупреждения понимаю, и правила стараюсь соблюдать.

[Инопланетянин]

Давайте вот так попробуем. Нужно удалить пробелы и символы новой строки

Возникло впечатление, что вы там на самом деле Штирлиц и сейчас передаёте шифровку в Центр.

а наоборот, по современной, новой повесточке

То есть, вы признаёте, что есть некоторая "повесточка", т.е. оголтелая пропаганда, которую усиленно распространяют? А сейчас у вас начальство поменялось и требует распространять другую пропаганду, а вы не обладаете достаточной гибкостью чтобы следовать за извивами линии вашей Партии?
Вы со своим навешиванием ярлыков и определением неугодных в злодеи и криками о пробуждении древнего зла просто выглядите очень карикатурной агитаторшей. Перестаньте, пожалуйста. Хотя бы перестаньте фигачить такими топорными штампами. Понимаю, большинство в США с вами не согласно, понимаю, что ВАм, как тут написали, хочется всех несогласных записать в террористы, но надо же хоть немного обладать терпимостью к чужому мнению. А то вы только к себе хотите уважения и терпимости, а сами никому думать и решать по своему не позволите.

[Polnoch Ксю]

То есть, вы признаёте, что есть некоторая "повесточка", т.е. оголтелая пропаганда, которую усиленно распространяют?

Конечно

А сейчас у вас начальство поменялось и требует распространять другую пропаганду

настолько же сумасшедшую. И более опасную в связи с приближающейся техсингулярностью. В других условиях может и не настолько опасную (на историческом масштабе времени).

А сейчас у вас начальство поменялось

не у нас, а у соседей к югу

а вы не обладаете достаточной гибкостью чтобы следовать за извивами линии вашей Партии?

ХЗ о чём Вы. Впрочем...  Я знаю о чём Вы, но проблема в том, что Вы не знаете о чём Вы. Вот Вам ещё одна шифровка.

Вы со своим навешиванием ярлыков и определением неугодных в злодеи

Добро и зло объективно существующие свойства нашего мира. Они следствие из теории игр, а именно из стратегии ястреба в игре голуби vs ястребы (в том числе речь о голубях, которые дают сдачу) и о сценарии предательства в дилемме заключенного. Из этого выводится гуманистические ценности. Из непонимания этого - мракобесные идеи. Из понимания, но запредельного эгоизма - технофашизм. Моральный релятивизм и ницшеанство в прошлый раз довело человечество до масштабнейшей катастрофы второй мировой. В этот раз ущерб будет ещё более значительным.

Впрочем, это сообщение написано не для Вас, а для сторонних читателей этой темы. Я не рассчитываю изменить Вашу точку зрения, потому, что Вы религиозны. То есть, в самом фундаменте Вашего мировоззрения - логическая дыра, и непоследовательность, и лишняя аксиома (для объяснения мира простыми, а, значит, скорее всего, более верными концепциями. См. бритву оккама. Впрочем, "Уродливую Вселенную" я читала).

[BlackMokona]

Добро и зло объективно существующие свойства нашего мира.

Новая ГЭС сметёт священные земли племени, но вытащит миллион людей из нищеты. Это зло или добро?

[Polnoch Ксю]

Новая ГЭС сметёт священные земли племени, но вытащит миллион людей из нищеты. Это зло или добро?

Добро из утилитаристских соображений в большинстве случаев, конечно(но вообще нужно решать кейс-бай-кейс). Религии это большой обман. Люди имеют право обманывать себя, но мемы религий должны быть под давлением отбора таким, который будет их двигать в сторону светски-гуманистических ценностей.
Я думаю, лучше стараться решить проблему минимально инвазивным способом. Например, запустить к ним проплаченного проповедника, который расскажет, что священные земли на самом деле в другом месте. Если рассказать правду о том, что такое религия и как работает научный метод не получилось(это предпочтительный вариант, но, к сожалению, большинство людей активно сопротивляются попыткам вытащить их из секты). Заодно дать им самим кучу денег, чтобы решение было принять проще, и они безболезненно переключились на новый самообман.