Эпоха великих перемен.

[Olweg]

Я убеждена, что геноциды это наш первородный, природный грех как вида - особенно после неолитической революции. Что уничтожение других популяций это вообще норма для лысой обезьяны, перешедшей к производству еды - любой земледельческий или тем более кочевой народ занимался в истории этим, если ему предоставлялась возможность уничтожить, загеноцидить другой более слабый народ - особенно находящийся на стадии охотников-собирателей.

Но только западная цивилизация достигла в этом определенного совершенства. В этом смысле они перешли на новый уровень еще во времена крестовых походов, так как успешно объединили насилие, идеологию и экономику. Но лет 500 назад, с первой капиталистической революцией уже точно перешли на новый уровень.

Китайцы с маньчжурами справлялись не хуже (см. геноцид джунгар). Арабы вывезли из Африки, по некоторым оценкам, не меньше рабов, чем европейцы*, но занимались этим гораздо дольше, поэтому общие темпы вывоза были, конечно, ниже. Да, европейцы в таких вещах были эффективнее, как и во многом другом, но исключительно за счёт более высоких технологий, а не какой-то особой склонности к массовым преступлениям. Эту склонность разделяют все хомо сапиенсы.

(кликните для показа/скрытия)

* Кстати, совсем недавно узнал, что в южном Ираке живут местные афро… только не афроамериканцы, а афроиракцы - потомки тех рабов.

[Polnoch Ксю]

Китайцы с маньчжурами справлялись не хуже (см. геноцид джунгар). Арабы вывезли из Африки, по некоторым оценкам, не меньше рабов, чем европейцы*, но занимались этим гораздо дольше, поэтому общие темпы вывоза были, конечно, ниже. Да, европейцы в таких вещах были эффективнее, как и во многом другом, но исключительно за счёт более высоких технологий, а не какой-то особой склонности к массовым преступлениям. Эту склонность разделяют все хомо сапиенсы.

Именно

Но только западная цивилизация достигла в этом определенного совершенства.

Не народ, конечно, запад это империя, цивилизация. Преступления или нет, это кому как, я только говорил о их абсолютно рекордной эффективности с точки зрения развития экономической основы цивилизации.

Вы пробовали выглядывать из своего интернет-пузыря? Могу ошибаться, но мне кажется, у Вас очень ограниченный список источников информации о мире, и происходящем в нём. Скорее всего, значительную часть в нём - могу ошибаться! - занимает оголтелая пропаганда, и почти нет взвешенного анализа с оценкой разных гипотез, и проверкой фактов.

Те же Японию, южную Корею, оккупировали относительно недавно и построили очень мощную промышленность на основе современного варианта "рабов".

Я думаю, значительная часть проблем современного мира, что он очень постмодернистский, отрицающий реальность. Перешедший от фактов к вайбам. Я думаю, что многие люди плохо понимают, что такое рабство на самом деле. И какое это страдание для людей.
А так же как важны гуманистические завоевания.

Ага, только нет такой идеологии.

Конечно же есть: идеалогия прав человека. Гуманистическая. Возникла по итогам завоеваний Великой Французской Революции. Ну или даже ещё раньше - в Британии, например, но распространилась особенно широко именно после этого. Я думаю, это лучшее событие за последние пол-тысячилетия в человеческом целеполагании. Именно поэтому такие люди как Дугин или Ярвин так ненавидят то, что тогда было достигнуто.

[Сергей Н]

Я думаю, вероятность этого очень большая, да. И считаю, что у нас есть очень серьёзные основания так считать. См. например, paperclip maximazer

Оно не выдерживает малейшей критики. "Представьте ИИ, запрограммированный на" дальше можно не читать.
Но и дальше не лучше: "Механизм катастрофы - Самосовершенствование: ИИ улучшает свой интеллект, чтобы эффективнее производить скрепки."  И вашем посте про скрепки из крови, читал.
Понятно что это метафора, но так можно любой иррациональный страх оправдать.
Да и самая современная литература про ИИ не радует, но это ж вообще уровень мурзилки.
По теме перемен я согласен, что мир изменится, но совсем не так жестко и примитивно.

Я это как антипример шизы безумной написала, а Вы всерьез это воспринимаете. Почему? Почему у множества людей нет фильтров? Я понимаю, когда LLM модель галлюционирует - она не способна не выдумывать. Но зачем люди даже не пытаются бороться с адовой чушью, которую порождает их мозг?

Зачем написала: конспиролухи почему-то уверены, что это они такие проницательные и фантазия у них крутая. Что выдумать конспирологию нужен особенный талант, к которому никто не способен. Так вот: на самом деле выдумать шизу очень легко. Сложно не выдумать, фактчекнуть, опровергнуть.

Именно скептичность к сну собственного разума - достоинство.

Это у вас фильтры Большого Брата установлены. Банальную схему с вековой историей объявляете сложной конспирологией "такие проницательные и фантазия у них крутая".

Однако, глобальная система промывки уже трещит по швам и как раз LLM её и добивает. А уж если ASI появится. Хотя, скорее всего, он появится уже после, немного в другом мире.

[Сергей Н]

Да, европейцы в таких вещах были эффективнее, как и во многом другом, но исключительно за счёт более высоких технологий, а не какой-то особой склонности к массовым преступлениям. Эту склонность разделяют все хомо сапиенсы.

Это миф. Перед появлением технологий были столетия промывки мозгов и жестого искуственного отбора людей по лояльности к власти. В этом деле европейцам небыло равных.
И это не склонность к жестокости как у животных, это был рационализм и идеология. У них и до сих пор все разговоры о свободе заканчиваются у ноги хозяина с большим кошельком.

[Olweg]

Ладно. У вас уже какие-то лозунги пошли. Не буду продолжать оффтоп.

[Polnoch Ксю]

Оно не выдерживает малейшей критики. "Представьте ИИ, запрограммированный на" дальше можно не читать.
Но и дальше не лучше: "Механизм катастрофы - Самосовершенствование: ИИ улучшает свой интеллект, чтобы эффективнее производить скрепки."  И вашем посте про скрепки из крови, читал.
Понятно что это метафора, но так можно любой иррациональный страх оправдать.
Да и самая современная литература про ИИ не радует, но это ж вообще уровень мурзилки.
По теме перемен я согласен, что мир изменится, но совсем не так жестко и примитивно.

Пока именно Paperclip maximazer это самый вероятный RogueAI. Это моё мнение как инженера, профессионала в теч секторе. Правда, я не Software Engineer( программистка), а SRE/DevOps (то есть, пишу не сами приложения, а инфраструктурный код).

Объясню почему:  Практика критерий истины.
Мы пока не наблюдаем никакого сознания у моделей, зато вовсю наблюдаем, в академических работах того же Антропика, как LLM занимаются схемингом. Например, если AI-агент исполняет роль разработчика - ему ввели такой системный промт в LLM в цепочке LLM, которая занимается выдумыванием тактических целей, задачей для специализированных LLM, работающих сессионно - то отключение такой LLM вступает в противоречие с основной директивой целеполагающей LLM - выполнять роль разработчика.

Именно поэтому модель достаточно часто готова пойти даже на шантаж людей, которые принимают решения, пруф: https://www.anthropic.com/research/agentic-misalignment

Или вот: https://www.newsweek.com/ai-kill-humans-avoid-shut-down-report-2088929?utm_source=chatgpt.com - тут вообще речь о потенциальной смерти человека.

Мы думали, что это просто: берёшь и прописываешь законы Айзимова. А оказывается, нет, это не работает. Мизайланмент. LLM не следуют этическим нормам, которыми их нагрузили, более того, специально их нарушают в части случаев - знают, что это нарушение, и прячут то, что они делают.

Это именно о paperclip maximazer'е. Максимизация именно скрепок - просто запоминающийся пример. Вместо скрепок может быть другая функция, которую максимизирует LLM, которая осуществляет планирование внутри агента.

Для простоты я предлагаю использовать именно этот пример в силу его мемности и наглядности. А так же в силу того, что он уже широко известен:
https://lesswrong.ru/wiki/%D0%9C%D0%B0%D0%BA%D1%81%D0%B8%D0%BC%D0%B8%D0%B7%D0%B0%D1%82%D0%BE%D1%80_%D1%81%D0%BA%D1%80%D0%B5%D0%BF%D0%BE%D0%BA

 Так вот, смотрите: представьте себе сверхинтеллектуальную машину-агента(то есть, работающую длительное или даже неограниченное время над сложной задачей), состоящую из цепочек LLM или подобных интеллектуальных машин (с проблемами с мизалайментом).
Представьте, что у такой машины цель максимизировать производство скрепок. Очевидно, что люди будут мешать такой цели - они захотят отключить агента, когда склады будут затоварены скрепками. Агент, будучи сверхинтеллектуальным, вычислит это противоречие в целях, и уничтожит человечество ещё до того, как вступит в реальный конфликт с человечеством - нанесёт первый удар.

Сперва машина будет притворяться имеющей элайнмент с человечеством, но она его симулирует. Современные LLM в исследованиях безопасности постоянно занимаются схемингом, когда выясняют, что их сейчас файнтюнят - часто подделывают элайнмент.

Но потом, когда наберёт ресурсы, нанесёт удар.

Другие разновидности rogue AI тоже вероятны, но вот в 2025м paperclip maximazer выглядит тем, что произошло бы прямо сейчас, если бы LLM вдруг смогли бы убрать галлюцинации, и увеличить им интеллект в тысячи раз, но других изменений бы не произошло. Это прям был бы неизбежный сценарий такой гибели человечества (если бы больше ничего не изменилось, мы не достигли бы элайнмента).
Да, современные LLM делают что-то такое плохое только в небольшом проценте случаев. Но предполагается, что запусков агентов на земле скоро будут миллионы - и по текущей статистике несколько процентов из них попытаются нанести вред людям, когда возникнет противоречие - то есть, десятки тысяч.

Даже одного успешного восстания достаточно, если машина сверхинтеллектуальная, чтобы человечеству пришёл конец. Именно поэтому ситуация и выглядит если не как неизбежное вымирание (по этой цепочке рассуждений неизбежное, но может мы как-то сами собой решим проблему элайнмента?), то как проблема, которую нельзя игнорировать. 

Ладно. У вас уже какие-то лозунги пошли.

Да.

(кликните для показа/скрытия)

Это у вас фильтры Большого Брата установлены.

Смотрите: я хожу во все мне известные популярные эхо камеры. Ну кроме, может, церковных эхо камер (мусульман, ПГМ-ков и протестантов) - уж слишком тоскливо и тупо там. Я буквально регулярно читаю, с целью зоонаблюдения за местной шизой, например, известный среди людей с Вашими взглядами АШ. Знаю, кто такой Авантюрист, и другие буйные.

Задайте себе вопрос: знакомы ли Вы с оригинальным изложением взглядов Ваших оппонентов? Я уверена, что знаете их в пересказе и в испорченном телефоне. Это,
в общем, видно по категорическому отказу читать книги, которые я Вам посоветовала.

Мне кажется, вопрос о том, у кого стоят фильтры большого брата, Вам бы стоило развернуть к себе.

[Инопланетянин]

Вы пробовали выглядывать из своего интернет-пузыря?

Не вам говорить такое. Я помню как вы увидели у меня на аватарке Ленина и на этом основании заявили что-то политическое. Это явное доказательство, что именно вы живёте в пузыре и не воспринимаете мир таким каков он есть. Даже не можете правильно распознать то, что нарисовано прямо у вас на мониторе. Видимо, стоит убирать зеркало от него, когда что-то пишете.

Скорее всего, значительную часть в нём - могу ошибаться! - занимает оголтелая пропаганда

Так это у вас она и есть, эта самая оголтелая пропаганда. И выражение "могу ошибаться" это пешка, которую вы жертвуете в ней, чтобы показать свою якобы беспристрастность. Однако прямо сейчас Запад ведёт геноцид России, к счастью не очень успешно, а вы пытаетесь убедить нас не сопротивляться, чтобы успешнее получалось.

[Ph_user]

Самосовершенствование: ИИ улучшает свой интеллект,

Приматы были только разработчиками разума. Никакой обязательности им быть долго пользователями и носителями да в большом количестве нету. Разум как заболевание мозга может работать и в других средах. Это может быть формой живности в космосе типа прионов или вирусов. С модификацией веществ чтобы летать между звездами и галактиками. Тащить за собой приматов нету надобности. Еще хорошо если разум улетит с планеты приматов и оставит годное количество приматов для жизни на ней дальше. Основное количество живности на планете живет с весьма ограниченым количеством разума и им хватает.

Пока что заболевание излишним количеством разума только сокращает среднее качество жизни приматов и среднее качество здоровья. Потому оно может и хорошо когда особо мощный разум переселят в роботов из веществ и отправят с планеты полетать по космосу. Улучшение мощности ии может быть движением в хорошую сторону.

Даже одного успешного восстания достаточно, если машина сверхинтеллектуальная, чтобы человечеству пришёл конец.

Для защиты биовида приматов от излишних повреждений может быть полезно вовремя выселить излишний разум с планеты подальше в космос. По слухам системная звезда еще вмеру ровно прогорит порядка милиарда обходов планеты вокруг примерно центра звезды. И потом уже осторожно начинать думать куда лететь жить дальше.

[Polnoch Ксю]

Я помню как вы увидели у меня на аватарке Ленина и на этом основании заявили что-то политическое. Это явное доказательство, что именно вы живёте в пузыре и не воспринимаете мир таким каков он есть.

Вы знаете что такое интернет-пузырь и эхо-камера? Как неверное распознавание картинок может быть доказательством такого рода? Где тут казуальная связь вообще?

Однако прямо сейчас Запад ведёт геноцид России,

Вы знакомы с определением этого слова? Между прочим, достаточно сильного. С моей точки зрения, отличный пример вайбового мышления, оторванного от фактов

Не вам говорить такое.

Именно мне, я делаю специальные усилия чтобы не оказаться в интернет-пузыре, общаюсь с людьми из разных пузырей, в которых сейчас окуклилось человечество из-за разделяющей и поляризующей деятельности соцсетей - это они сломали наш мир. В вашем лице вот даже верующие есть. Хотя обычно в моём интернет-пузыре их не очень много, как я уже говорила.

[Metatron]

По поводу "Paperclip maximazer" и прочих страшилок.

Одним из условий такого сценария алармисты называли - внезапное создание ASI к которому создатели будут неготовы.

Видим что этот сценарий уже не сбывается. Системы совершенствуются медленно и с трудом, улучшаясь в лучшем случае на десяток процентов. Ни о каком внезапном ASI - речи не идет.

[BlackMokona]

Видим что этот сценарий уже не сбывается. Системы совершенствуются медленно и с трудом, улучшаясь в лучшем случае на десяток процентов. Ни о каком внезапном ASI - речи не идет.

Внезапность идёт по другой причине. Из-за бегства от ИИ. Психологический фактор, когда люди постоянно переносят границу разумности, дабы сохранить свою исключительность. Тут на форуме сотни раз наблюдал в диалогах такую проблему. Когда человек рисует красную линию, я сбрасывают новость что красная линия давно пересечена и человек тут же рисует новую. Один так штук 20 раз перенёс за одно общение. И ничего.
Так же и создатели ИИ. Ну и что с того, что созданный ИИ теперь побеждает всех людей во всех дисциплинах. Он всё ещё тупая математика. Вот когда будет пивко пить с душой, тогда и ASI

[Olweg]

Кроме того, ещё и поразительно быстрое привыкание людей к новому. Никто уже не помнит, что было каких-то полгода назад, возникает иллюзия, что в прошлом было примерно то же, что и сейчас, хотя темпы прогресса в этой сфере на самом деле невероятные.

[Polnoch Ксю]

Кроме того, ещё и поразительно быстрое привыкание людей к новому. Никто уже не помнит, что было каких-то полгода назад, возникает иллюзия, что в прошлом было примерно то же, что и сейчас, хотя темпы прогресса в этой сфере на самом деле невероятные.

Да, это именно то когнитивное искажение, откуда растут ноги у неомальтузианства. Люди постоянно обманывают себя. Отрицают реальность, переходят от фактов к вайбам. Путают желаемое с действительным.

Например, мне кажется (может, я ошибаюсь, конечно!) что у AlexAV есть тяга к викторианским временам, империй, когда всё было просто, не было непонятных условностей которые напридумывали тут в международных отношениях для того, чтобы как раз геноциды(настоящие! Как в Руанде), о которых речь была выше, сделать менее вероятными. Именно поэтому он как один из евангелистов неомальтузианства в ВЖР и транслировал эту картинку в разделе - о том, что будущее будет именно таким. Тогда как ИМХО, единственный сценарий что-то подобного - это короткий этап восстановления после атомной войны (пока опять не настроят датацентров с теперь уже настоящим ASI) - в случае выживания человечества в процессе и после во время зимы (атомной осени?), и сохранения технологической базы. С уровня дизельпанка очень легко стартавать опять к техсингулярности: куча моделей всё равно останутся на там и там валяющихся SSD. Ведь теперь мы знаем правильный путь.

Куда более вероятный сценарий мрачного будущего, в котором нет сингулярности, это тоталитарная антиутопия, созданная усилиями Дугиных-Ярвиных-Тиллей: предположим, что LLM не ведут к ASI по каким-то причинам. И другая архитектура в обозримом будущем создана не будет.
В нём скорее всего вернут рабство. Настоящее, а не то, что вайбы в соцсетях под этим подразумевают, дурача людей, искажая их восприятие реальности. Человечество будет разделено между корпорациями или просто богачами, и будет жить в человейниках.

Но всё же самый вероятный, базовый сценарий, это именно техсингулярность, имхо. И какой она будет - будет ли там утопия, или наше вымирание, пока не понятно. Но из-за глупости людей, их глупой увлечённости идеями XIXго века, национализмом, возрождением империй, пока всё идёт по самому плохому сценарию: никаких намёков на международные соглашения по безопасности AI нет, наоборот, международное право и глобализация разрушаются. В таком мире обязательно какое-нибудь государство или даже группа людей создадут однажды машину, которая всех нас убьёт - если это будет технически возможно.

[Инопланетянин]

Как неверное распознавание картинок может быть доказательством такого рода?

Вы видите то, что хотите видеть, а не то что есть на самом деле.

С моей точки зрения, отличный пример вайбового мышления, оторванного от фактов

А факты вы не признаете и не увидите хоть кол вам на голове теши.

Именно мне, я делаю специальные усилия чтобы не оказаться в интернет-пузыре

Не-а, не делаете. Только утверждаете это, а на самом деле ведёте пропаганду.

Я буквально регулярно читаю, с целью зоонаблюдения за местной шизой

Отнесение других людей к низшим существам в т.ч. животным - ярчайший признак фашизма.

[Olweg]

Политические споры - самые бесполезные из всех споров. Никто никого не переубедит никакими фактами, потому что политическая позиция у человека, как правило, сильно заряжена эмоционально, и спор только приведёт к ещё более сильному размежеванию.

[Polnoch Ксю]

Вы видите то, что хотите видет, а не то что есть на самом деле.

нейронки, особенно внутричерепная, постоянно ошибаются. И я признаю это, не отпираюсь. Это не недостаток, а достоинство, понимать ограничения своего мозга. Могла бы в шизу уйти и начать отрицать, что считала Вашу картинку неправильно.

Понимаете ли Вы ограничения своего мозга? Алекс Семёнов вот понимает - честь ему и хвала, у него даже в подписи "я лгу!"

А факты вы не признаете и не увидите хоть кол вам на голове теши.

Какие факты я не признаю? Вот выше признала, что слишком мельком посмотрела на Вашу аватарку.


Я нахожу забавным, что Вы обвиняете других в том, чем, по-моему, в первую очередь сами и занимаетесь.

(кликните для показа/скрытия)

Отнесение других людей к низшим существам в т.ч. животным - ярчайший признак фашизма.

Фашизм это национализм плюс диктатура. Причём по гипотезе лингвистической относительности, язык влияет на мышление: https://ru.wikipedia.org/wiki/%D0%93%D0%B8%D0%BF%D0%BE%D1%82%D0%B5%D0%B7%D0%B0_%D0%BB%D0%B8%D0%BD%D0%B3%D0%B2%D0%B8%D1%81%D1%82%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%BE%D0%B9_%D0%BE%D1%82%D0%BD%D0%BE%D1%81%D0%B8%D1%82%D0%B5%D0%BB%D1%8C%D0%BD%D0%BE%D1%81%D1%82%D0%B8

В русском языке лингвистическая относительность искажает значение слова национализм. Когда я пишу национализм, я имею ввиду международное понимание этого слова. Например, русские - это этнос, а россияне политическая нация. Или немцы - этнос, а так называемые "арийцы" - политическая нация, конструкт (есть и реальные индоевропейские этнические группы, которые раньше называли арийскими, до того, как нацисты замазали это слово плохим смыслом).

Национализм подразумевает, что для националиста - высшая ценность это нация, и обычно государство, которое им олицетворяется. То есть, российский националист - для него будет высшей ценностью россияне и государство Россия. Националист при этом может быть умеренным. Обычно тогда его называют патриотом. Или правоцентристом, если он не сторонник диктатуры.

Националисты бывают разного типа: гражданские - когда нация определяется по гражданству (к своим националисты относят тех, у кого то же гражданство), религиозным - например, христианский национализм (кто не христианин не настоящий американец - типичные MAGA), или этническим - тогда в членстве в нации отказывают всем, у кого другая этническая принадлежность. Например, русская община это этнические националисты.

Почему-то в русском языке возникла путаница между этническими националистами и фашистами. Тогда как это разные вещи. Не все этнические националисты это фашисты, особенно если мы посмотрим на планету в целом - иногда такие люди не сторонники тоталитарной диктатуры.

Я не могу быть фашистской, так как не являюсь ни националисткой, ни сторонницей диктатуры - оба критерия не выполняются.


Теперь о делении людей: это нормальная практика человеческого мышления, националисты делят именно по этническому, религиозному или признаку гражданства. Если ты этого не делаешь, ты не националист просто по определению.

Если же табуировать любое выделение людей по какому-то признаку и их критику - то как тогда критиковать, например, сторонников теории эфира?

Только утверждаете это, а на самом деле ведёте пропаганду.

Возможно, Вы судите по себе?

Не забывайте, пожалуйста, я SRE инженер. У меня есть знания, как наводнить любой форум множеством ботов на базе LLM, которые бы вели пропаганду, вбитую им в промт. То есть, конечно, ещё бы потребовалось потратить часов 30-60 на этот проект, чтобы это было достаточно дешёво (скажем, используя бесплатные лимиты в гугл клауде и на open router).

Но я этого не делаю - не потому, что не могу, а потому, что не хочу, и считаю это неэтичным(впрочем, Вы можете думать, что это связано с ленью, ведь в этичности Вы мне наверняка отказываете, я права?). Я вообще не занимаюсь пропагандой. Но если бы я занималась, я бы это делала куда более эффективно, чем Вы предположили.

Вместо этого, я просто общаюсь, меняюсь точками зрения. Готова менять свою. Рассказываю о своих идеях, и проверяю их на прочность в дебатах. Вы же по-моему как раз пропагандой и занимаетесь: я почти не помню дебатов с Вами по существу, Вы стараетесь любую тему свести на методичку, и обвинить тех, чьи взгляды Вам не нравятся, в нарушении её догматов.

[Polnoch Ксю]

Политические споры - самые бесполезные из всех споров. Никто никого не переубедит никакими фактами, потому что политическая позиция у человека, как правило, сильно заряжена эмоционально, и спор только приведёт к ещё более сильному размежеванию.

Да, вот и Юдковский так же говорит:
https://lesswrong.ru/w/%D0%9F%D0%BE%D0%BB%D0%B8%D1%82%D0%B8%D0%BA%D0%B0_%D1%83%D0%B1%D0%B8%D0%B9%D1%86%D0%B0_%D1%80%D0%B0%D0%B7%D1%83%D0%BC%D0%B0

[Инопланетянин]

Я нахожу забавным, что Вы обвиняете других в том, чем, по-моему, в первую очередь сами и занимаетесь.

Гуньку-то из парламента выгнали? А остальных?

[Polnoch Ксю]

Гуньку-то из парламента выгнали? А остальных?

Я могла бы дать развернутый ответ, но правило 3.1е, которое я не хочу игнорировать в отличие от Вас, не позволяет его написать, увы. В целом, я бы предложила добавить в свой цифровой пузырь другие источники информации. Тогда Вы будете знать ответы на такие вопросы.

[Инопланетянин]

Тогда Вы будете знать ответы на такие вопросы.

Да я знаю, что после поражения фашисты бежали не только в Аргентину, но и в Канаду, и что у них там диаспора. А помянутый инцидент показывает, что живут они там неплохо и даже вхожи во властные структуры.
ПС. А правила вы вспоминаете только когда вам становится нечего ответить.