Пределы автоматизации и внедрения роботов

[MenFrame]

Тогда в чём принципиальное отличие в наличии разумного дизайнера и в его отсутствии в случае слепой эволюции, если итог один?

Если итог один, то и нет предмета для спора. Предмет спора возник когда начали обсуждать поведение модели которое явно противоречит интересам пользователя. Я в этой ситуации предполагаю самое очевидное, а именно то что это результат интереса разработчика. Какого вы приплели сюда креационизм вообще непонятно. Разве что хотите увести разговор от частного, к общему. От того в чем причина такого поведения LLM, к философии "жизнь это река которая куда то течет"

[Polnoch Ксю]

Вы по человечески можете говорить? Язык форума Русский!

https://neolurk.org/wiki/%D0%94%D0%B6%D0%B5%D0%B9%D0%BB%D0%B1%D1%80%D0%B5%D0%B9%D0%BA_%D0%98%D0%98
Вот вам на русском. Язык автора заметки и его мировоззрение доставляет. Но что такое джейлбрейк технически он понимает. Правда, верит что существует какая-то цензура (которая за пределами человеческого социума неопределима)

Ошибка не может создать с высокой вероятностью устойчивое целенаправленное поведение. Это можно сделать только целенаправленным отбором.

Особенно это забавно выглядит в свете ксюшиной заявки на обсуждение в рамках найденных естественными науками законов природы и опоры на экспертное мнение специалистов, при том что оный специалист (с высшим краснодипломным общемедицинским образованием и учёной степенью по медицине же), имеющийся тут, насколько ему известно, в единственном экземпляре, ей не раз и не два писал, что продление индивидуальной жизни свыше считанных тысяч лет - ненаучная фонтастека.

Допустим. Сильно нам лучше будет, если злой ИИ будет подвергать человека пыткам тысячи лет, вместо миллионов? Да даже если и сотни.
Еще раз повторю, если вы видите какое то устойчивое сложное поведение у модели, то согласно бритве Оккама нужно делать вывод что это поведение появилось в результате намеренного труда разработчиков. Даже если сами разработчики в этом не признаются.

О, это похоже на забавное когнитивное искажение. В реальности, наш мир очень хаотичен. Бритву Оккама Вы применяете нелегитимно - самым простым объяснением без новых сущностей не является "разумный замысел", потому что даже при производстве обычного софта производятся не столько фичи, сколько баланс фичей с багами.

В реальности, бритву Оккама обязательно нужно дополнять бритвой хэнлона: https://ru.wikipedia.org/wiki/%D0%91%D1%80%D0%B8%D1%82%D0%B2%D0%B0_%D0%A5%D1%8D%D0%BD%D0%BB%D0%BE%D0%BD%D0%B0

И нет, LLM далеко не так детерминистичны, как Вы себе вообразили. В том-то и дело, что модели чёрный ящик, что там происходит внутри, в весах, в многомерном векторном пространстве - невозможно разобраться. Мы видим лишь внешние проявления этих весов. И далеко не всегда что то, что проходит через обучение, создаёт именно нужное нам поведение. А не его имитацию, прошедшую через несовершенные тесты  - тот же ревард хакинг.

Пожалуйста, исправьте свою картину мира, он куда более хаотичное место и разработчики куда менее понимают что они на самом деле пишут. Это профессиональное мнение: когда падает, например, геокластер на два датацентра, и вместо переключения инфраструктуры на другую автономную систему что-то идёт не так, это не злой умысел тестеров, которые писали автотесты для инфраструктуры. Или ревьювера, который пропустил ломающий всё патч. Это как раз протёкший в рукотворный порядок первозданный, дефолтный хаос, энтропия(не в физическом смысле), с которой нужно специально бороться.

[Polnoch Ксю]

Особенно это забавно выглядит в свете ксюшиной заявки на обсуждение в рамках найденных естественными науками законов природы и опоры на экспертное мнение специалистов, при том что оный специалист (с высшим краснодипломным общемедицинским образованием и учёной степенью по медицине же), имеющийся тут, насколько ему известно, в единственном экземпляре, ей не раз и не два писал, что продление индивидуальной жизни свыше считанных тысяч лет - ненаучная фонтастека.

сильно нам лучше будет, если вместо миллионов лет злой ИИ будет нас мучить тысячи? Да хоть сотни

[BlackMokona]

Что бы интегрировать ИИ агенты, нужно решить вопрос с ответственностью. Кто несет ответственность за ошибки ИИ агентов? Если их несет сам разработчик, то возникает вопрос а нахрена тогда вообще компания прокладка? Какую она функцию выполняет?

Кто оказывает услуги, тот ответственность и несёт, а ИИ агент лишь инструмент. Поэтому должны перестраивать свои бизнес процессы, особенно в контроле качества. Людям тоже никто не доверяет. Поэтому лишь смена объекта для проверки

[MenFrame]

В реальности, наш мир очень хаотичен.

Только хаос не способен породить сложное целенаправленное поведение, без нужного методичного отбора.  Которого стоило бы бояться и психовать по прицыпу нас всех превратят в домашних животных, или убьют всех человеков. Хаос порождает хаос, мусор на входе мусор на выходе. Не нужно из багов высасывать Василиска рокко, для это нет не каких оснований. Потому когда я вижу что какая то модель ведет себя как будто подчинена своим собственным интересам, то я делаю самый очевидный вывод, за этим поведением стоят интересы разработчика. Поскольку случайно такое поведение практически невероятно получить.

И нет, LLM далеко не так детерминистичны, как Вы себе вообразили.

Я такого не разу не воображал. Я в очередной раз пытаюсь до вас донести мысль о том что сложность почти всегда есть результат отбора. Потому если мы эту сложность наблюдаем нужно предполагать и наличие отбора который привел к появлению этой сложности.

А баги пофиксят без проблем...

[MenFrame]

Кто оказывает услуги, тот ответственность и несёт, а ИИ агент лишь инструмент.

Ну вот и получается что проще всего нести ответственность тому кто этих агентов создает и обучает. А сторонние фирмы становятся бесполезными ненужными прокладками, которые обречены на исчезновение.

[BlackMokona]

Ну вот и получается что проще всего нести ответственность тому кто этих агентов создает и обучает. А сторонние фирмы становятся бесполезными ненужными прокладками, которые обречены на исчезновение.

С чего это? То что вы предоставляете рабочую силу, не означает что вы можете делать работу лучше чем все эти компании. У которых накоплен опыт работы в этой сфере, сформированы контакты и тд
Это напоминает социалистов, с их профсоюзы всё порешают и рабочие могут самоуправляться эффективно

[MenFrame]

То что вы предоставляете рабочую силу, не означает что вы можете делать работу лучше чем все эти компании.

В случае ИИ означает. Поскольку основная работа с ЕИ происходит в рамках работы с персоналом, обучение, контроль и т.д. Кадры это основной конкурентный козырь этих фирмочек.

[Polnoch Ксю]

мусор на входе мусор на выходе

конечно

Не нужно из багов высасывать Василиска рокко, для это нет не каких оснований.

Тут нет разумного злого замысла в фабрике разработки. Скорее паника отдельного разработчика, у которого оказался доступ к систем шелу ASI . И страх, что окажется у кого-то ещё, более решительного - реализация дилеммы заключенного.

Потому когда я вижу что какая то модель ведет себя как будто подчинена своим собственным интересам, то я делаю самый очевидный вывод, за этим поведением стоят интересы разработчика.

Это ни откуда не следует, и просто неправильно. Баги, особенно в ML, вырастают сами по себе, от некомпетентности, от сложности задач - когда её решение задачи неизвестно и задачу ещё никто ранее не решал на планете. Злого умысла членов совета директоров, высшего менеджмента под ними почти никогда нет в таких случаях. Может быть "ревард хакинг" менеджера низшего звена: "сделаем абы как, авось не заметят и пронесёт"

[MenFrame]

Это ни откуда не следует, и просто неправильно.

Следует, отсюда...

сложность почти всегда есть результат отбора. Потому если мы эту сложность наблюдаем нужно предполагать и наличие отбора который привел к появлению этой сложности.

[Rattus]

сильно нам лучше будет, если вместо миллионов лет злой ИИ будет нас мучить тысячи? Да хоть сотни

Этот вопрос не имеет отношения к реальности. Поскольку в реальности такая система на таком масштабе проиграет конкуренцию системе с более рациональным целеполаганием и использованием ресурсов, а скорее всего - уже на этапе разработки.
Даже задача УВЧ, хотя и не сильно менее фантастическая, реалистичнее этой хотя бы потому, что временнОй масштаб её реализации заведомо должен быть на порядки короче любых эволюционных процессов.

[Polnoch Ксю]

Следует, отсюда...

нет

    сложность почти всегда есть результат отбора. Потому если мы эту сложность наблюдаем нужно предполагать и наличие отбора который привел к появлению этой сложности.

Вы переоцениваете степень вникания в детали менеджеров. Они часто вообще не разбираются в технологиях, в том что делают инженеры. А когда разбираются, у них не хватает времени.

Я думаю это скоро все поймут, когда будут рулить личным мегафлотом агентов - никто не будет вникать в детали что они делают. И если всё сломается от нейрослопа, это будет неожиданно для человека, управляющего флотом агентов.

Аналогичные события происходят и с людьми, с управлением командами разработчиков (но люди пока надежнее ИИ агентов)

[Polnoch Ксю]

Этот вопрос не имеет отношения к реальности. Поскольку в реальности такая система на таком масштабе проиграет конкуренцию системе с более рациональным целеполаганием и использованием ресурсов, а скорее всего - уже на этапе разработки.

никакие цели не являются рациональными. Они все задаются аксиоматически. Рациональными бывают только инструментальные цели - промежуточные шаги плана для максимизации целей, которые положены как аксиомы.

Это самообман думать, что эволюционные цели являются универсальными. Нет, это просто потенциальная яма для простого способа сделать устойчивую систему (биосферу, например..) на геологическом масштабе.

Для нашей судьбы не будет иметь значения, является ли злой ИИ устойчивым на геологических масштабах или нет. Как Вы сами утверждаете, продлять жизнь человека на миллионы лет не получится. Значит, даже технологическая инфраструктура для работы Роко Василиска может быть куда менее прочной, и расчитанной под более короткий срок мучений, который можно максимизировать (как его терминальную цель).

[MenFrame]

Вы переоцениваете степень вникания в детали менеджеров.

А это уже без разницы кто там делает пакости, менеджеры, хакеры, агенты секты ИИ апокалипсиса или просто скучающие разрабы. Важно то что кто это делает намеренно, ну или как минимум за этим есть отбор какой то неведомый. Потому бояться надо людей....а не багов. Баги фиксятся.

[Polnoch Ксю]

. Важно то что кто это делает намеренно

да никто не делает намеренно. Почти никогда не бывает сознательно внесённых багов. Разве что закладки-бэкдоры от спецслужб, но это какие-то исключения.
Бывает только лень докладывать о проблеме, чтобы её озадачили исправить(у нерадивых менеджеров низшего звена или у моделей - ревард хакинг).

ну или как минимум за этим есть отбор какой то неведомый.

процесс разработки. В нём есть недостатки. Ну так и в обучении LLM есть недостатки, в том-то и дело, что смайлик на шогготе плохо сидит, и легко слетает

[Инопланетянин]

Тут нет разумного злого замысла в фабрике разработки. Скорее паника отдельного разработчика, у которого оказался доступ к систем шелу ASI . И страх, что окажется у кого-то ещё, более решительного - реализация дилеммы заключенного.

Предоставьте государствам самим разрабатывать и обучать полицейский ИИ для предотвращения преступлений с помощью ИИ и военный ИИ для отражения возможной агрессии с помощью других военных ИИ.

[Polnoch Ксю]

Предоставьте государствам самим разрабатывать и обучать полицейский ИИ для предотвращения преступлений с помощью ИИ и военный ИИ для отражения возможной агрессии с помощью других военных ИИ.

наоборот, так ещё хуже будет. Почитайте "у меня нет рта но мне нужно кричать". В том-то и дело, что нужно снижение самостоятельности государств. Конкуренция государств хорошо, но она не должна быть в разрушительных формах - разработки военных ASI систем(неизбежно без элаймента к гуманистическим ценностям), войны итд.

Хорошо, когда государства конкурируют с друг другом, у кого лучше велодорожки. Или в бесполезном, но не вредном - у кого мужики лучше гоняют резиновый шар ногами. Или во флаговтыках в Марсы и Луны - символично и даже полезно в какой-то степени.

Это как рынок: на цивилизованном рынке компании играют по правилам, и судятся с друг другом по работающим законам. А в дикой среде нанимают братков избить или даже убить конкурента.
Бизнес человечество уже научилось загонять в стойло цивилизованной конкуренции - когда борьба не создаёт повреждения тем, кто рядом стоит. Нужно такое же сделать с государствами.

Я думаю, нужно объединить человечество в структуру, похожую на Евросоюз 2000х годов. А может быть на Европейское экономическое сообщество(существовавшее до 1990х) - не факт что нужна единая валюта - слишком централизованные системы неэффективны. Скорее спаять всех общим рынком для конкуренции бизнесов и экономического роста, разоружить и направить конкуренцию в созидательную или безвредную для прав человека сторону.

[Инопланетянин]

В том-то и дело, что нужно снижение самостоятельности

Это опять ваша политическая пропаганда. Здесь нельзя высказывать политические убеждения.

[BlackMokona]

В случае ИИ означает. Поскольку основная работа с ЕИ происходит в рамках работы с персоналом, обучение, контроль и т.д. Кадры это основной конкурентный козырь этих фирмочек.

Так тут тоже нужно всю эту работу проводить с агентами. Они не работают класса, сделай ко мне дела и всё.
Требуется выстраивать систему.
Даже чтобы торговым автоматом рулить, пришлось выстраивать систему начальник-подчинённый. Чтобы одна модель другой командовала.

[Polnoch Ксю]

https://www.fastcompany.com/91497841/meta-superintelligence-lab-ai-safety-alignment-director-lost-control-of-agent-deleted-her-emails

Summer Yue директор команды элаймента Меты (он же фейсбук). Она запустила опенсурсный агент openclaw, для сортировки её почты. Однажды, агент начал удалять все её письма старше недели. И игнорировал её прямые указания перестать это делать. Она была далеко от компьютера, так что не могла завершить агента через терминал.

Вот такие дела: топовые инженеры элаймента из FAANG не могут избежать мизалаймента поведения собственных агентов. Я тоже постоянно сталкиваюсь с нежелательным поведением моих агентов, но это почти всегда ревард хакинг: ну там подправить автотесты, вместо исправления бага, что я поручала кодинг агенту