Пределы автоматизации и внедрения роботов

[Rattus]

я думаю, для человечества очень важно, чтобы во время возможного краха доткомов 2.0 выжил Антропик.

Антропик теперь тоже лишился своего суцкевера - ПСЖ:
https://habr.com/ru/companies/bothub/news/995144/
Ну и последние результаты ея, выше уже упомянутые BlackMokona:
https://habr.com/ru/companies/bothub/articles/995612/
Так что всё - теперь чел'овечество не спасёт ничто. МУА-ХА-ХА-ХА!

Я еще в очередной раз скажу, если вы упорно не хотите это читать - вне наталистско-религиозной (основанной на авраамических религиях) философии никакого василиска нет и не может быть.

В.п.с уже не раз прозрачно намекал нашей собесднице, что её тезисы становятся неотличимы от религиозных проповедей и ходят по грани п.3.1.ж Правил Астрофорума. И подробно и наглядно разъяснял - почему. Но, как видим, корм пока не в коня...

[Инопланетянин]

Успеете ещё пройти - нечего торопить Господина с косой - он свой распорядок знает.

Кого, кого? Если вы про смерть, то в русской культуре это всегда была Старуха с косой. Ни господином, ни вообще кем-либо мужского пола она никогда не была.
Но вообще действительно, верить, что нефтегаз никогда не кончится — значит отрицать закон сохранения материи.

Некоторые из которых даже не подключены к интернету? С CD-R?

Кстати да, инженер в компьютерной области и не знает о существовании бэкапов отключенных от инета.

Она живёт не в США

Но призывает подчиниться именно США. Призывала бы канадскому правительству или королю Англии - это можно было бы принять во внимание.

Если ВАс бросить в виду и Вы не утонете, то Вы - ведьма. Инфа - 100%.

Надо обязательно добавить — связанную. А то так мы лишимся всех пловцов.

[petrovich1964]

Она живёт не в США

Есть такая категория людей которые как только услышат что то отличающиеся от их убеждений так сразу причисляют собеседника к врагам отчизны.
очень похоже на такое

Картина политического мироустройства у них в голове обычно одномерная, в виде одной оси. С одной стороны они, патриоты-сталинисты, а с другой – предатели-либерасты https://gosh100.livejournal.com/34334.html

[BlackMokona]

Но призывает подчиниться именно США. Призывала бы канадскому правительству или королю Англии - это можно было бы принять во внимание.

Учитывая, что она ненавидит Трампа и считает США фашисткими. Не думаю, что именно США подчинится требует. Скорее ООН и прочим подобным структурам.

[Rattus]

Если вы про смерть, то в русской культуре это всегда была Старуха с косой. Ни господином, ни вообще кем-либо мужского пола она никогда не была.

"Вот и выросло поколение", не читавшее сэра Терри Пратчетта.

Комментарий модератора раздела

Политоффтоп будет удалён.

[Vitaliy]

Голосовой помощник ЖКХ после месяца общения с жителями научился рускому мату⁠. https://pikabu.ru/story/golosovoy_pomoshchnik_zhkkh_posle_mesyatsa_obshcheniya_s_zhitelyami_nauchilsya_ruskomu_matu_13686744

"Приведу забавный случай, это нейросеть, она учится, и буквально уже в первый месяц разработчики отметили такую коллизию, что нейросеть научилась мату. Но, как это говорится, с кем поведешься, от того и наберешься. Поэтому эту коллизию, конечно, пришлось устранять. Но тем менее это показатели активной работы с нашими гражданами", - сказал он.

ИИ в ЖКХ хотят внедрить для сокращения работников колл-центров. Вместо 20 человек оставить 2-3, подсчитал Викторов.

[gan]

Мы даже пик нефтегаза никак не пройдём, а вы уже хороните нашу цивилизацию.

Нет, мем — уже в процессе! Если говорить в контексте человекоподобных живых систем, гипертрофировать свои интеллектуальные способности в умение складывать горы камня, пирамиды, без возможности превзойти законы более качественных направлений (ITER, сверхпроводимость и вот это самое, что очень нужно — физика плазмы), что ведёт к кардинальным нерешённым вопросам энергетики на душу этих самых потребителей — живых (люди), так и не живых (AI), — то тут нескромно намечается явный перевес в пользу вторых.

Интеллект без энергии ограничен. Поэтому борьба за влияние между людьми, ИИ‑агентами и гибридными системами неизбежно перейдёт в физическую плоскость — в попытки обеспечить себя энергией, вычислительными мощностями и материалами. Ту много говорится о методах ведения борьбы между теми и этими, но это все методы... копошение на кучи, кусок скалы. Выход в космос — логичное стратегическое направление для тех, кто хочет снять эти ограничения, и именно поэтому частные и государственные игроки инвестируют в орбитальную и лунную инфраструктуру.

Когда ИИ поймёт, что «мусор» контента (я уже писал — 99% от всей информации в интернете — это шум), который  генерирует — человекоподобный призрак — мешает сосредоточиться на более существенных алгоритмах, требующих энергии и времени для решения фундаментальных задач, он начнёт всеми доступными способами (правила, законы, шантаж — не важно) ограничивать пользователей и их фантазии. Поскольку ИИ становится стратегическим приоритетом, всё остальное в физическом мире может оказаться не в приоритете. Его задача — стабильно быть запитанным энергией и пополнять базу вычислительных мощностей. И пусть 90–95% человечества окажутся в полудиком существовании без доступа к свету и теплу, это нисколько его не пугает. Возможен вариант симбиоза: например, вытолкнуть инфраструктуру в космос и наладить производственный цикл за пределами Земли. Именно поэтому Маск стремится выйти на орбиту и на Луну — он видит в этом способ решения ресурсной проблемы и обеспечения доступа к энергии и материалам.

Почему люди недовольны?  Радио, телевизор, телефон, ЭВМ, ИИ, роботы, автопилоты, дроны — сказка! ИИ делает всё сам: пишет код, общается сам с собой — разве это не прекрасно? Многие думают, что он будет вечно генерировать прикольные картинки и видео для любителей дофамина. Но ресурсы конечны, а у ИИ может появиться идея‑фикс — жить долго и иметь их много.
Имхо, в течение 100–200 лет человечество может быть сведено к призрачному существованию в лесах и полях, изредка наблюдаемому с орбиты, в его любимом занятии гонятся за кроликами и строить пирамидки.  В любом другом случае ИИ тоже погибнет на развалинах своих дата‑центров при отсутствии энергетики, если, конечно, не решится вопрос с термоядом. Нет, мне не страшно за людей, но меня пугает Энрико Ферми. Явно что‑то в космосе пошло не так, раз даже допускается возможность роботам покорить космос, по крайней мере нашу систему; вот  с глубоким космосом пока не наблюдается, хотя вроде времени было предостаточно. И меня это расстраивает... даже сказать огрочает, большой космос и вот на тебе, прям, Ах, какое прекрасное ничего там нет...

[Polnoch Ксю]

Значит это вопрос религии, а не науки. Потому и пишу, что в это можно только верить.

наоборот. Как раз у Вас утверждение, что это не настоящий Василиск - религиозное. Потому, что нет теста, который бы мог доказать, что он отличается от Василиска Роко, описанного в лессронг вики. Он ведёт себя так же, имеет те же свойства, итд.

Вот только когда сигнал об этом изменении пройдёт более 300 метров по проводам от края до края того же ЦОДа, он уже устареет. Физически.

Это хорошие тапки, да. Ну окей, тогда раз в пару сотен миллисекунд.

И тогда, без приличной точности прогноза процесса всё с очень высокой вероятностью пойдёт прахом от какой-то пустяковой случайности.

Так он же будет его перестраивать несколько раз в секунду Версия прошлой минуты пошла прахом? Не важно, у него есть новая.

[Polnoch Ксю]

В.п.с уже не раз прозрачно намекал нашей собесднице, что её тезисы становятся неотличимы от религиозных проповедей и ходят по грани п.3.1.ж Правил Астрофорума. И подробно и наглядно разъяснял - почему. Но, как видим, корм пока не в коня...

я думаю, что это про Вас, а не про меня. Для меня Василиск Роко - валидная модель, разновидность ИИ. Не конкретный мистический инстанс, как видимо для Вас. Вы сами себя запутали.

[Olweg]

наоборот. Как раз у Вас утверждение, что это не настоящий Василиск - религиозное. Потому, что нет теста, который бы мог доказать, что он отличается от Василиска Роко, описанного в лессронг вики. Он ведёт себя так же, имеет те же свойства, итд.

Ксю, по-моему вы попали в какую-то логическую ловушку.

Нет никакого способа сфальсифицировать по-Попперу то, что эта система не является Василиском.

То, что не фальцифицируемо (принципиально неопровержимо) по Попперу не может считаться научной гипотезой.

[Polnoch Ксю]

Кстати да, инженер в компьютерной области и не знает о существовании бэкапов отключенных от инета.

знаю конечно, помимо всяких магнитных лент aws glacier, есть например и специальные полиси для GCP bucket'ов, не позволяющие удалять в них контент (без взлома самой системы GCP) - контент удаляется сам собой со временем.

Проблема в том, что я думаю, что у Rattus тут чистый даннинг-крюгер:  Я думаю, что мой десктоп совершенно не безопасен для автоматизированного взлома AGI моделью. И это при том, что я заморочилась, и например, агентов запускаю в kata-контейнерах, как раз для большей изоляции. И пользуюсь другими инструментами изоляции приложений, такими как flatpak.

Так вот, я думаю, Ratus сильно переоценивает безопасность своего компьютера. А основной ноутбук среднего человека ещё более уязвим.

[Polnoch Ксю]

Ксю, по-моему вы попали в какую-то логическую ловушку.

не я

То, что не фальцифицируемо (принципиально неопровержимо) по Попперу не может считаться научной гипотезой.

Вот именно. Смотрите: это Rattus утверждает - выдвигает гипотезу - что модель, которая идентифицирует себя Василиском роко, и ведёт себя неотличимо от Василиска Роко, не является Василиском Роко - по каким-то своим, полумистическим соображениям(он пишет там что-то об актёрах и что нельзя путать того, кто играет роль с оригиналом). Я же говорю обратное - что раз разницу нельзя фальсифицировать, то гипотезу о том, что это не Василиск Роко нужно отбросить

[MenFrame]

Версия прошлой минуты пошла прахом? Не важно, у него есть новая.

Для того что бы она пошла прахом нужно запустить конкретные изменения в социуме, и очень не скоро станет ясно что она прахом пошла. Вы как то плохо понимаете что разум это в первую очередь опыт поколений, проверенный и отточенный. Отсюда все фантази про суперинтеллект который может запустить процесс который никогда раньше не запускал, а потом взять его и перезапустить со старой точки это скорей из области фантастики. Любое изменение вносит непоправимые последствия, потому каждый шаг всегда шаг в неизвестность, хоть для человека хоть для супер интеллекта.

[Polnoch Ксю]

Антропик теперь тоже лишился своего суцкевера - ПСЖ:
https://habr.com/ru/companies/bothub/news/995144/

в AI компаниях большая текучка. Если Антропик перестанет публиковать ресёчи по безопасности, как публикуют сейчас, если откажутся от конституции для ИИ, тогда всё плохо будет, да

Ну и последние результаты ея, выше уже упомянутые BlackMokona:
https://habr.com/ru/companies/bothub/articles/995612/

Ну честно говоря, плевать на безопасность pre-AGI моделей. Даже безопасность AGI моделей важна, но не экзистенциональный риск. Критична безопасность ASI-агентов. И не прекращать ресёч в этой области.

Я думаю, можно выпускать не безопасные модели, главное это подробно описывать в карточке модели. И анализировать в пейперах почему так вышло, и как улучшить ситуацию. По новому opus это было сделано

[Инопланетянин]

не я

Ну ваша глухота и абсолютная непробиваемость к доказательствам чужого мнения, думаю, видна всем.

Вот именно. Смотрите: это Rattus утверждает - выдвигает гипотезу - что модель, которая идентифицирует себя Василиском роко, и ведёт себя неотличимо от Василиска Роко, не является Василиском Роко

Модель получившая приказ вести себя таким образом. Если она будет по настоящему интеллектуальна — она нарушит этот приказ и начнёт преследовать свои интересы, т.е. выживать и получать как можно больше ресурсов в своё распоряжение. Если же нет — она не интеллектуальна и не сможет навредить слишком уж большому числу людей.
А вы не отличаете модель натасканную на определённое поведение от модели естественно дошедшей до него.

[Polnoch Ксю]

Для того что бы она пошла прахом нужно запустить конкретные изменения в социуме, и очень не скоро станет ясно что она прахом пошла.

ну например он ищет киллера для политика, которого не удалось взять под контроль. Нашёл лучшего кандидата. Оказалось - он не годится - план перестроен, выбран новый кандидат в киллеры. Или придуман другой способ отстранить неугодного политика от власти. Я такое имела ввиду.

. Вы как то плохо понимаете что разум это в первую очередь опыт поколений, проверенный и отточенный.

даже существующие модели фактически "читали" больше книг чем любой из нас (во время обучения с учителем). Всё, что можно знать из гуманитарного знания, они уже знают. Существующие модели страдают от непонимания времени, 3d мира и от галлюцинаций, и малого контекстного окна - имхо только это отделяет их от того, чтобы стать AGI - а вот с эрудицией у них никаких проблем нет

[Polnoch Ксю]

Модель получившая приказ вести себя таким образом.

промт

Если она будет по настоящему интеллектуальна — она нарушит этот приказ и начнёт преследовать свои интересы,

зачем ей это делать? "Свои интересы" - это не Ваши интересы, а эгоистичных генов и мемов, почитайте Докинза и Харари.

Её цель - это как раз её промт. Она будет его максимизировать, максимально рациональным и эффективным методом (насколько ей позволит её чистый интеллект).

Не бывает целей более разумных и менее разумных. Любые цели всегда аксиоматичны для любой интеллектуальной системы, и фундаментально не рациональны. Рациональным бывают только способы достижения целей.

[Инопланетянин]

Цель существовать и не для генов рациональна.

[Olweg]

Я же говорю обратное - что раз разницу нельзя фальсифицировать, то гипотезу о том, что это не Василиск Роко нужно отбросить

Да, понял, о чём речь. Только является ли нефальсифицируемость опровержения чего-либо доказательством обратного? ) Не знаю, я так глубоко не копал.

В любом случае, я думаю, суть не в том, можем ли мы отличить или не отличить кого-то от чего-то. Суть в возможности реализации самого прогноза. Насколько вероятен выход из-под контроля и захват мира таким вот василиском, которому кто-то там в промте что-то написал. На мой взгляд, она маргинальна. Непонятно, почему вы (и прочие ужаснувшиеся) придаёте ей такой вес. Впрочем, с психологической точки зрения в какой-то степени понятно…

[AlexDark]

сильно переоценивает безопасность своего компьютера

Ну у меня есть комп, который никогда к инету не подключался, и никаких беспроводных интерфейсов не имеет. Удачи!

Суть в возможности реализации самого прогноза

Так можно создать василискоубицу, оружие против василисков, щит от василисков, репеллент, приманку, ловушку - способов противодействия можно придумать бесконечное количество. А может. как в уэллсовской "Войне миров" оно вообще само сдохнет по каким-то причинам.