Эпоха великих перемен.

[Polnoch Ксю]

Пока что похоже на то, что диапазон человеческого интеллекта всё-таки недооценён. Другое дело, что гопник легко сможет вырубить эйнштейна в подворотне. И тому высокий айкью никак не поможет. Насколько сверхИИ будет превосходить лучших человеческих гениев - вопрос открытый.

мне кажется, пока просто нет общего ИИ. Нужно решить проблему галлюцинаций, причём архитектурно, и тогда мы увидим интеллектуальный взрыв.

[Olweg]

Вероятного, в том числе из-за увлечения интеллегенции ультраправыми(от точки отсчёта двухтысячных)  и/или неомальтузианскими идеями. В гибели человечества, почти неизбежной, я заранее виню интеллегенцию, предавшую идеалы эпохи возрождения!

Ну, большинство интеллигенции, пожалуй, всё же левые, по крайней мере на Западе (вы же сами недавно кидали ссылку на статистику среди учёных). Не думаю, что увлечённость инклюзивностью, диверсити и насильственной уравниловкой всех и вся как-то способствует или наоборот, мешает прогрессу ИИ, как и увлечённость конспирологией и национализмом. Это, мне кажется, вообще перпендикулярные друг другу вещи, поскольку развитие технологий определяется более объективными вещами, такими как привлекательность для инвесторов с точки зрения прибыли и возможности практической реализации. Другое дело - alignment. С этим пока непонятно.

[Изобретатель]

Пока что похоже на то, что диапазон человеческого интеллекта всё-таки недооценён. Другое дело, что гопник легко сможет вырубить эйнштейна в подворотне. И тому высокий айкью никак не поможет. Насколько сверхИИ будет превосходить лучших человеческих гениев - вопрос открытый.

мне кажется, пока просто нет общего ИИ. Нужно решить проблему галлюцинаций, причём архитектурно, и тогда мы увидим интеллектуальный взрыв.

  У Человечества,или ИИ? Учитывая квантовые технологии. Разве только если человеческий мозг,тоже квантовый комп?

[Polnoch Ксю]

  У Человества,или ИИ?

У ИИ. На лысой обезьяне я давно поставила крест. Надеюсь только на институты (подробнее в "Почему одни страны богатые, другие бедные") - что могли бы позволить дотянуть до сингулярности.

поскольку развитие технологий определяется более объективными вещами, такими как привлекательность для инвесторов с точки зрения прибыли и возможности практической реализации.

Да, конечно. Но не всегда - только в открытом обществе Карла Поппера. В закрытом или в реформирующемся в закрытую сторону, происходят такие истории как отмена РНК-вакцин против рака. Или навязывание гомеопатии на государственном уровне.

Другое дело - alignment. С этим пока непонятно.

Увлечение тёмным просвещением приведёт к тому, что его не будет. Потому, что либертарианские идеи в принципе против любого регулирования - вот, уже FDA нормы отменяют, или разрешают опасные химические выбросы итд. А трагедия общин - жёсткая конкурнция ИИ компаний друг с другом - не способствует инвестициям в безопасность. Кто вот из крупных игроков остался? Только антропик немного занимается ещё безопасностью ИИ. Это, может быть причина, почему они не первые. Хотя по кодингу держутся, молодцы. Надеюсь, AGI построят именно они - это немного увеличит шансы на выживание человечества.

Плачу деньги Антропику не только из-за того, что Opus хорошо пишет код, но из-за их работ по безопасности ИИ - это мой донат в микроскопическое увеличение шансов человечества.

[Polnoch Ксю]

Я не верю что в этом очень плохом мире что-то может кончится добром. Вот тупо не верю.
Сначала будет великое Зло. Всем достанется. И невинным и даже виноватым (их достанет тоже!)
И только тогда...

Тоже так думаю. Но Вы неправильно понимаете причины. И отказываетесь почитать книги, в которых другая аргументация, увы.
Уверена, что никакого "вот тогда" не будет. Нас ждёт или полное исчезновение, или какой-нибудь ужас запредельный. Вы читали "У меня нет рта, но я должен кричать"?

И да, мы на всех парах летим к технофашизму - прошу его отличать от трансгуманизма. Это очень заметно в том числе по ВЖР. Ненависть к глобализации, к гуманизму. Желание огородиться, и ТВОРИТЬ ЛЮБОЕ ЗЛО, за которое никто не спросит, потому, что некому. Любовь к средневековью, ненависть к ценностям просвящения, желание его отменить - идеи темного просвящения. Романтизация тиранов Ярвиным. Если злодея, угнетающего людей с помощью сверхинтеллектуальных машин назвать не диктатором, а CEO, как предлагает Ярвин, или устроить "мягкий геноцид" лишним людям, заперев их в "матрице", зло от этого злом быть не перестанет. Потому, что нацисты, например, изначально хотели не жечь евреев в концлагерях, а выслать их на Мадагаскар.

Всё хорошее, что произошло с человечеством за последние столетия связано именно с глобализацией, с всеобщим просвящением, с торжеством гуманизма на всей планете - вместо власти злодеев, устанавливающих правила игры, заставляющие пытать людей, издеваться над ними в своих маленьких царствах.

Без глобализации и общих правил игры Вы не сможете иметь общие правила по безопасности ИИ. И у вас будет всё та же трагедия общин: выиграют те, кто не будут ограничивать интеллектуальную машину ценностями.

[Сергей Н]

Сильный (strong) ИИ - это понять что такое Разум вообще, какова роль в нём сознания и только потом всё это реализовывать в металле. И до этого нам еще много-много лет как ни крути. Идея сделать умную машину (умнее нас) не особо понимая до конца что такое ум  мне кажется не просто БРЕДОМ, а ХИТРОЖОПОСТЬЮ, которая достойна очень сурового наказания.

Сильный интеллект может еще не скоро сделают, а сознание это больше миф. По факту, вы или машина, либо адекватно обрабатываете входящую информацию, и о себе в том числе либо нет. Чем адекватнее и полнее информация и обработка тем сознательнее.
Не думаю, что надо много ресурсов для реализации чего-то такого в железе, просто возможности программистов сильно ограничены. Есть вероятность, что сознание поселится в наших компах и смартфонах в ближайшие 5 лет. Пускай будет прогноз.)

[Polnoch Ксю]

Сильный интеллект может еще не скоро сделают

Из википедии:

теория слабого (также используют термины прикладной или узкий) искусственного интеллекта предназначена для решения какой-либо одной интеллектуальной задачи или их небольшого множества (например, системы для игры в шахматы, распознавания образов, речи, кредитный скоринг и т. д.)[4], которые не подразумевают наличия у компьютера подлинного сознания[5].

Если сильный ИИ рассматривать как противоположность слабому(узкому, прикладному), то сильный ИИ у нас уже есть: LLM обладают универсальными знаниями о мире, у них нет узкой специализации.

Однако LLM хотя и сильный ИИ, но всё ещё не общий ИИ - имхо, из-за галлюцинаций.

[Сергей Н]

В частности, сверхинтеллектуальные машины будут иметь сверхчеловеческие возможности в интригах, убеждении людей, и схематозе - вот это, кстати, мне кажется, Алекс поймёт. Он же боится заговоров.

Интриги и схематоз! В книгах и кино такие сюжеты мне нравятся, но боюсь в реале все сводится к простому преимуществу в получении ценной информации. Добытой не гуманными методами. Знание - сила, а в мире сингулярности сила х 10.

[Polnoch Ксю]

Интриги и схематоз! В книгах и кино такие сюжеты мне нравятся, но боюсь в реале все сводится к простому преимуществу в получении ценной информации. Добытой не гуманными методами. Знание - сила, а в мире сингулярности сила х 10.

Кстати, если бы я была как Семёнов, и верила в теории заговоров, я бы, видимо, решила бы, что хаос и безумие в мире, которые сейчас происходят, связаны с тем, что какая-то группа исследований создала сверхинтеллект (году так в 2019м...) и дальше занялась разламыванием мировой системы, с целью захватить контроль над миром.

Но к счастью, я не падаю в чёрную ловушку разума - в конспирологию, поэтому уверена на 100%, что никакого AGI не существует. И то, что технические журналисты видят под эмбарго со стороны OpenAI, DeekSeek, Anthropic и Google и есть лучшие модели, что есть у человечества.

Я не могу, впрочем, исключить, что какая-то группа людей устроила хаос в ожидании сверхИИ, но тоже отбрасываю эту идею из-за её шизофреничности - верно всегда более простое объяснение (деградация представительственных институтов в США из-за ультраправой пропаганды в социальных сетях. События в Европе не хочу объяснять, чтобы тему не закрыли. Но тут тоже объяснение до смешного банальное и мейнстримное среди интеллектуалов в мире).

Я не понимаю, почему конспирологи полагают, что другие люди не умеют в генерацию подобных идей? Всё мы умеем. Мы зато умеем нечто другое: фильтровать такие идеи, что конспирологам недоступно! Это куда сложнее.

А если бы я писала роман про шизотеорию заговора про тайное управление миром неизвестным сверхИИ, я бы пошла ещё дальше: человечество погибло бы от агрессивной формы патогена, а потом нас загрузили в матрицу - кому успели отсканировать мозги - и, почистив память от последних лет ада, запустили жить ещё раз этот таймлайн от момента пандемии. Закончила бы я его хэппиэндом, когда хаос заканчивается, и мы оказываемся в постлейбор-утопии. В процессе герои бы сходили с ума от множества совпадений, которые бы указывали на тайную ложу. И исчезали бы, находя какие-то доказательства. После хэппи энда выяснилось бы, что все они живы, и куда более здоровы, чем раньше. но сверхИИ не дал им опубликовать то, что они узнали.
А цель мероприятия была бы - постепенно подвести людей к новой реальности, чтобы они с ней свыклись - тех, кто выжил, потому, что большая часть людей в этом романе была бы философскими зомби-NPC: да, мы даже в солипсизм умеем. Но главное - мы знаем, как не пускать его в свою картину мира!

К чему я это написала: к тому, что не только конспиролухи умеют в фантазию. У других с ней тоже всё хорошо. Но мы не путаем вбросы конспирологии в соцсетях с реальностью.

[archetip-z]

Есть вероятность, что сознание поселится в наших компах и смартфонах в ближайшие 5 лет. Пускай будет прогноз.)

Сознания примитивов, начиная с Неолита, давно уже могло переселяться в Тотемы. Нынешние бандерлоги не сильно рванули вперёд, разве что подзарядку вовремя через USB подключают для своих тотемов.