Пределы автоматизации и внедрения роботов

[Olweg]

А серьёзно взялись бороться с галлюцинациями, видимо, пока только Anthropic, и, судя по хорошему результату GPT-5.1, начинают подтягиваться OpenAI.

https://habr.com/ru/companies/otus/news/968038/
https://telegram.me/seeallochnaya/3111

Похоже, действительно борются:
https://telegram.me/ai_exee/307?single

"Согласно гипотезе инженеров компании, галлюцинации возникают из-за неправильно организованного этапа обучения с подкреплением. ИИ задают множество вопросов: за хорошие ответы дают баллы, за плохие – ничего.

В этом “ничего” как раз и кроется проблема. Оказалось, что модели выгоднее не говорить “не знаю”, а пытаться угадать: при тысячах вопросов такая стратегия иногда дает правильный ответ и поднимает итоговый рейтинг.

В OpenAI предлагают сделать процедуру обучения с подкреплением более сложной, не только поощряя, но и наказывая модель. По слухам, еще в процессе обучения GPT-5 компания использовала специальную модель Universal Verifier, которая дополнительно проверяла все ответы – и если находила в них проблемы, то отправляла на переделку.

Официально существование Universal Verifier так и не было подтверждено, но уровень галлюцинаций в GPT-5 действительно удалось снизить. На двух графиках в начале поста показаны результаты AA-Omniscience — бенчмарка, который оценивает галлюцинации модели.

Первый график – Accuracy, который показывает, как часто модель правильно отвечает на вопросы, не подглядывая в интернет. Учитывайте, что в рамках бенчмарка задаются не “повседневные” вопросы, а редкие и сложные. Здесь GPT-5 лишь четвертая – уже давно известно, что это не самая большая модель, и знаний в нее влито меньше, чем в лидирующие Gemini 3 Pro и Opus 4.5. Зато это позволило OpenAI сделать модель практически безлимитной.

Куда интереснее бенчмарк Hallucination Rate – он показывает, как часто модель выдумывает ответ, если не знает его. Gemini 3 Pro здесь просто проваливается – в девяти из десяти случаев она несет ерунду. У GPT-5 шансы 50 на 50 – лучше, но еще есть куда стремиться.
...

P.S. Слухи, про которые писал в прошлый раз, подтверждаются – OpenAI тестирует на Design Arena новую модель. Ждем на следующей неделе GPT-5.2 – возможно, с меньшим уровнем галлюцинаций!"


Графики уже выкладывал в прошлом посте, но продублирую, потому что там, судя по числу просмотров, ими мало кто заинтересовался, а данные интересные.

[Rattus]

М. Фуко, "Надзирать и наказывать" как именно публичная казнь была политическим инструментом, а не нравственной нормой. Людей не спрашивали, хотят ли они становиться зрителями - участие толпы было частью спектакля власти.

Другие историки и источники придерживаются этого мнения не меньше чем климатологи - консенсуса об антропогенном глобальном изменении климата?

Хроники Лондона 17-18 вв. фиксируют штрафы и наказания за неявку на публичные мероприятия, включая казни, особенно для жителей цехов и округов, которых обязали представлять присутствие общины.

Период истории островного государства, когда даже бродяжничество наказывалось казнью является репрезентативным?

Муниципальные указы Франции и германских земель прямо требовали выхода горожан на казни "для демонстрации общественного порядка", даже если люди не хотели присутствовать - явка обязательна.

Каких временных периодов? В каком масштабе?

Так что вопрос массово ли - некорректен. Поголовное участия.

Включая грудных детей, беременных, дозорных и смотрящих за опасными техпроцессами (огонь в кузнице и в очагах и т.п.)? В период посева/уборки урожая, когда день год кормит?

Почитайте Фуко

А может сразу Бодрийяра или Дерриду? Фуко он, наверное, не только философ, но таки может реально историк (я просто не в курсе). Но историк не единственный. Ведь так можно почитать что говорил лауреат нобелевской премии биолог Люк Монтанье, открывший ВИЧ, про лечение от него, или что говорил другой лауреат нобелевской премии молбиолог Кэри Мюлис про тот же ВИЧ и т.п - и сделать выводы только на основнии их тезисов. Но будут ли они корректны - вопрос риторический.

Ну и Вы так и не ответили (или я не заметил - где конкретно): была у спартанцев этика объективно или нет?

[Серый Страж]

Вы пытаетесь натянуть на практику ярлык этики, только потому что она стабильно существовала.
Но стабильность ≠ этичность.

Если упрощённо, то мораль социума, это ведь просто система правил поведения, запретов и ограничений для членов данного социума.

И мораль (обычно как и система формальных законов) направлена в первую очередь на самосохранение самого социума в целом, и только во вторую очередь на самосохранение отдельных членов этого социума.

(Замечание в скобках: понятно, что ценность для социума разных членов может быть различной (обычно ценность члена социума коррелирует с его положением в иерархии этого социума))

А практика, это способы реализации морали (этих правил, запретов и ограничений). И если способ работает (по итогу) на самосохранение социума, то, значит, этот способ нормальный/рабочий (а, возможно, и наиболее удачный).

И я вам про мораль кратко уже пояснял:

Ответственность прописана в морали и формальных законах, и она работает в первую очередь на самосохранение социума как целого, и только во вторую очередь на самосохранение особи этого (или другого) социума.

Мораль (как, в общем-то, и формальные законы), это система правил поведения особи, ограничений и запретов, налагаемых на особь. И эта система предназначена  для выживания/самосохранения в первую очередь социума как целого (она и формируется в процессе выживания и адаптации социума).

В каждом социуме обычно со временем формируется своя мораль, даже если социум отделился/обособился от «материнского» социума. И не стоит судить с позиции той морали, которую вы разделяете, о практике (и о морали в целом) в других социумах и в другое время. Для вас это может выглядеть аморально, а для них в то время, это считалось вполне морально.

[AlexDark]

По поводу публичных казней - сильно зависит от эпохи.  В ранее время скорее всего ходили добровольно, и возможно даже с удовольствием, если казнили "заговорщиков против любимого короля" или "ненавистного барона". Под конец эпохи публичных казней зрелище шокировало толпу до такой степени что она либо разбегалась, либо вообще убивала палача. Как раз потому что этические воззрения на казнь и ее публичность сильно изменились.

[skvj]

Простой народ мечтает воевать не так ли? )

Ацтеки были свято уверены, что если не резать военнопленных на жертвы Богам, то настанет конец света. Поэтому все умрут навсегда, если не воевать

Вы вообще мистику от реальности отличаете?))
Если вы, допустим, христианин, то это не значит, что вы мечтаете в Крестовый поход. Вы не имеете никаких претензий на обладание Гробом Господеним, Святым Граалем и пр. мифологической снедью. Да вам и не положено. Это конкретные амбиции конкретных политиков, припудренные религиозным бредом.

Да, существовал миф если не кормить Солнце - оно умрёт.
Но этот миф не выражает этических желаний простых людей. Он выражает:

- пропагандистское оправдание войны
- инструмент принуждения
- теологическую доктрину правящей группы

То же самое было:

у европейской инквизиции - если не искать ведьм - Бог покарает, но ведьм, уважаемый BlackMokona  - они будут искать среди вас!
у древневосточных государств - если не принести жертву - засуха. Властитель снимал ответственность с себя и налагал её на кого угодно - на вас, в основном.
у средневековых монархий - если не подчиняться власти - рухнет порядок, и наступит конец (грубо)

И что, простые крестьяне от этого мечтали ловить ведьм? Иногда да - ведь безумцы найдутся всегда. Но это безумцы, а не все общество, которое страдало.

Они жили внутри системы, которая объясняла необходимость ужасных практик, но это никак не означает, что население считало эти практики моральными. Эпоха Возрождения славится становлением научных методов. Не сама по себе, - она подхватила научный метод как способ борьбы с тиранией против религиозного мракобесия в Европе. Это поддерживали не только народные массы, а прежде всего монархи, которые были измучены насилием церковников. Произошёл расцвет нового мира. Это было коротко - всенародным признанием, причём всех слоёв общества, включая и зависимых властьимущих.

[Rattus]

Хорошо, не хотите про спартанцев, тогда вопрос ребром: в основе законов Шариата - этическая система?

[Vavanzer]

в основе законов Шариата - этическая система?

Там на самом деле очень много этического, достойного того чтобы задуматься... Но и много того что чисто атрибутики касается, не имеющей отношения к этичности. И еще ряд правил, касающихся больше здоровья и гигиены, санитарных норм в общем.
 Ну в общем то, в целом поучительное и полезное, если не воспринимать радикально.

[skvj]

М. Фуко, "Надзирать и наказывать" как именно публичная казнь была политическим инструментом, а не нравственной нормой. Людей не спрашивали, хотят ли они становиться зрителями - участие толпы было частью спектакля власти.

Другие историки и источники придерживаются этого мнения не меньше чем климатологи - консенсуса об антропогенном глобальном изменении климата?

Гуманитарные науки работают иначе, чем климатология. В климате у вас миллиарды датчиков, численные модели, наблюдения из космоса и физика атмосферы, т. е. объективный предмет. В истории у вас тексты, археология и социальные реконструкции, т.е. интерпретация поведенческих паттернов. Никакая история не может иметь консенсус как в климатологии, потому что её данные по природе не такие.

Но у истории есть свой тип консенсуса, структурный, когда большинство исследователей сходится в том, что практики, выглядящие как этические нормы, на самом деле в разных культурах выполняли институциональные функции власти и контроля. Именно про это говорил Фуко, и здесь он не один: Норберт Элиас, Хейдэн Уайт, Дюркгейм, Марсель Мосс и др. показывали, что ритуалы насилия - это часть логики власти, а не этика народа.

Публичная казнь в Европе из той же категории. Никто не спрашивал толпу, хочет ли она прийти. Толпа была механизмом демонстрации порядка. Люди приходили, потому что социальное давление, отсутствие выбора, страх перед властью и нормативность зрелища делали поведение предсказуемым так работает стадный инстинкт в жёстких иерархиях.

Не нужно требовать от гуманитарной дисциплины консенсуса физического уровня. Ведь в истории другой тип данных и другой тип согласия. Здесь важна не математическая точность, а объяснительная мощность теории. А теория публичного насилия как инструмента власти подтверждается слишком многими независимыми источниками, чтобы её сбросить, потому что кому-то хочется видеть в поведении толпы этическую норму. Это не норма, это политический театр.

Такова данная гипотеза. Вы - можете придерживаться другой, если считаете её более сильной. Я не считаю, и не только я один. По моим ощущениям это будет мейнстрим, если копать глубже. Надо ли?
Ведь мы просто обсуждаем совершенно другую конкретику сейчас, а это лишь защита моей позиции - она вовсе не голословна. Если у вас другое мнение, - что ж? Имеете право, я где-то навязывал своё понимание? Вовсе нет.
Я даже не хочу вас переубедить. Я отстаиваю свою позицию, и не более.

Не могу отвечать на всё, я просто не успеваю, извините.
Надо ещё позавтракать успеть хотя бы))
Пойду что ли кофе выпью с круасанами 

[Vavanzer]

Да, существовал миф если не кормить Солнце - оно умрёт.
Но этот миф не выражает этических желаний простых людей.

Все проще. Если рассматривать в другом контексте.
 Все живое, да и не особо живое, в этом земном мире завязано на Солнце. Нет Солнца, нет жизни, в том виде как мы ее видим.
 Ну и как бы, "накормить Солнце", делая безобидные символические подношения, это типа знак благодарности. ( Для дураков, повторю, безобидные, не приносящие живым существам страдания).
 Ну это как закрепление принципа благодарности. В противовес повсеместному потребительству, которое не только среди людей.
 Другое дело, что все это извратили до кровавых культов и прочей белиберды. Всякие дикари. 

 Вот только как это относится к роботам?
 Ну, может быть и относится, если роботы будут работать на солнечной энергии (которая почти во всех видах энергетики в основн, кроме атомной), эти роботы будут тоже очень благодарны Солнцу, и у них , наверное, тоже будет своеобразный культ Солнца!))

[Vavanzer]

А теория публичного насилия как инструмента власти подтверждается слишком многими независимыми источниками, чтобы её сбросить, потому что кому-то хочется видеть в поведении толпы этическую норму. Это не норма, это политический театр.

Это все внутривидовые разборки.
 Другое дело - межвидовые! В контексте темы - роботы и люди!)) Причем, все это еще и в перемешку. А разделены будут разными парадигмами. Одни роботы+люди против других роботов+людей!) Каждая группа разношерстная (люди+роботы+др техника) за свою идею идет против другой. То что собственно уже и происходит кое где...

[Rattus]

Другое дело - межвидовые! В контексте темы - роботы и люди!

Комментарий модератора раздела

Не надо дезинформировать читателей. Русским по белому было написано:

Это была принципиально иная задача - эволюция симбиоза между многими видами, а не эволюция расширенного фенотипа одного вида.

Вид - биологическая категория, относящаяся только к живым организмамам - системам, способным к автономному воспроизведению. Роботы и ЭВМ живыми не являются. Усвойте уже определения, размещённые в Правилах Раздела и обязательные к применению!

[skvj]

Хорошо, не хотите про спартанцев, тогда вопрос ребром: в основе законов Шариата - этическая система?

На это, конечно, надо ответить)) эх, мой кофе!

Это смесь. Там властное внедрение и по сути нормативный комплекс. Даже не спорьте))
Думаете кто-то из мусульман скажет, что не признает шариат? Не скажет конечно. Теперь внимание! - вы думаете, что все, кто признает шариат (а они так скажут) - хотят или будут в реальности забивать камнями?

А, допустим, многие участники форума христиане. Это очевидно.
И у иудеев и ранних христиан в текстах тоже есть забивание камнями. Это общая практика семитских религий.
Так что христианин будет или хочет забивать камнями как раньше?
И мусульмане этого не хотят.
А ужасная практика прописана во всех источниках авраамических религий - и в Библии, и в Коране, и да шариат - это нормативный акт, но как и современный христианин не делает то, что делали ранние, так мусульмане точно такие же. 

[Rattus]

Это смесь.

Пусть. И даже разумеется. Никакое законодательство не базируется на одной лишь этике. Но этика (в общеупотребительном и вроде как общепринятом везде смысле) входит как одно из оснований всякого законодательства.
Значит и в шариатских странах и у спартанцев этика таки имеется. Согласны?

Теперь внимание! - вы думаете, что все, кто признает шариат (а они так скажут) - хотят или будут в реальности забивать камнями?

А причём тут "хотят"? Этика - это про мечты и хотелки что ли? В каком определении? Этика - это про то, что считается должным или как минимум допустимым. Считать недопустимым то, что написано в каком-то правоустанавлявающем тексте - значит отвергать его. Третьего не дано чисто логически.
Вот и вопрос - считаете ли Вы необходимым оберегать от разрушения подобные этики?

Это всё вопросы элементарной логики и ясности определений, без которых невозможно никакое конструктивное обсуждение.

[skvj]

Это смесь.

Пусть. И даже разумеется. Никакое законодательство не базируется на одной лишь этике. Но этика (в общеупотребительном и вроде как общепринятом везде смысле) входит как одно из оснований всякого законодательства.
Значит и в шариатских странах и у спартанцев этика таки имеется. Согласны?

Попались! )) Rattus, я любя.

Шариат это не обязательный к исполнению акт во многих мусульманских странах - они давно светские, что закреплено в Конституции. Турция, Казахстан, Азербайджан, Узбекистан, Албания, Сенегал, Индонезия - самая большая мусульманская страна в мире с полностью светским законодательством и эта тенденция растет. Ислам давно ≠ автоматический шариат. Религия, часть культуры, а не структура закона. Поддержка светского государства - исторический, политический и юридический выбор, а не уровень исламизации.

А Эмираты? Вот где самое интересное. В целом светская страна. Шариатские суды, которые применяются в: семейном праве изредка (брак, развод, наследование), некоторым внутренним делам эмирцев, редким уголовным кейсам и всё.

Те же, кто под шариатом - в большом затрудненни находятся. Это тот же случай - дефакто и деюре.
Большинство, что прописано в шариате - давно не работает, понимаете? и они просто скукожились над давно умершей моралью, которую сами же не применяют. И только декларируют - шариат! шариат!

Этика есть в любом обществе, даже у каннибалов и у Спарты. Буквально невозможна человеческая группа без набора норм поведения. Вопрос не в том, есть этика или нет, а в том, какого она типа и какую функцию выполняет. Спартанская этика была этикой милитаристской касты, а шариат - давно отжившая религиозная система норм, включающая как элементы морали, так и уголовное право. Но наличие этики как набора норм не делает сами нормы моральными по современным стандартам. В этом всё и дело.

И по пути эмиратов - в скором времени, и гуськом - отправятся все, у них нет выбора))
Я искренне уважаю мусульман. И прошу не считать прозвучавший юмор как глумление.

[BlackMokona]

Да, существовал миф если не кормить Солнце - оно умрёт.
Но этот миф не выражает этических желаний простых людей

У Ацтеков поражал, как поражали мифы что если не молится Богу в Христианстве, то нашлет бедствия, а потом в ад отправит навсегда

[skvj]

А причём тут "хотят"? Этика - это про мечты и хотелки что ли? В каком определении? Этика - это про то, что считается должным или как минимум допустимым. Считать недопустимым то, что написано в каком-то правоустанавлявающем тексте - значит отвергать его. Третьего не дано чисто логически.
Вот и вопрос - считаете ли Вы необходимым оберегать от разрушения подобные этики?

Это всё вопросы элементарной логики и ясности определений, без которых невозможно никакое конструктивное обсуждение.

Ни одна культура в истории никогда не исполняла свой нормативный текст буквально и полностью.
Люди верят в Библию - но не соблюдают камнеказнь.
Люди верят в Коран - но 90% мусульман мира живут в светских законах.
Люди верили в римское право - но рабство постепенно ликвидировали, хотя тексты его разрешали.
Тексты могут быть постоянны, особенно религиозные. Этика живых обществ эволюционирует. Это аксиома антропологии.

Этика ≠ следование древнему правовому тексту.
Этика - это то, что общество реально считает правильным сейчас.
Именно поэтому почти весь исламский мир НЕ считает забивание камнями морально допустимым, хотя текст сохранился. Это не отвержение ислама, это естественная эволюция норм.

Его дихотомия нарушает базовую логику: либо принимаешь текст полностью, либо отвергаешь его.
Если применить это к Библии, у вас рушится половина Европы, США, Израиль и весь христианский мир - никто не исполняет библейские наказания.
Если применить это к Конституциям - тоже рушится, потому что их нарушают, корректируют, интерпретируют.

В нормальной логике есть третье, пятое и двенадцатое: интерпретация, традиция, правовая практика, контекст, реформы, иерархия норм, приоритет позитивного права. Человеческие этики никогда не были бинарными.

Оберегать нужно не буквальность текста, а право людей интерпретировать, реформировать и развивать свою культуру без насилия. Если община мусульман практикует современный ислам - это их этика.
Если Саудовская Аравия реформирует шариат - это их этика.
Если Турция светская - это их этика.
Разрушать нельзя культуру.
Но культовые практики, противоречащие правам человека, это не этика, это вредоносные нормы общества, которые подлежат реформе, как когда-то были реформированы везде.

[Rattus]

Попались!...
Шариат это не обязательный к исполнению акт во многих мусульманских странах

Вы. Если перечитаете сообщение, то там нет слов про "мусульманские страны", а есть конкретно - про шариатские. Многие верующие могут считать, что это место в священном тексте можно не читать буквально или даже игнорировать и менее верующими они от этого не становятся, тогда как иные - фундаменталисты - будут считать их еретиками (иногда - даже хуже чем неверными). Но мы обсуждаем тут не это (тем более что это вообще лежит и за тематикой Форума и за пределами его Правил). А этику и этические системы.

Большинство, что прописано в шариате - давно не работает, понимаете?

Это не имеет никакого отношения к представленному ВАми тезису. Вы писали, что все этики нужно оберегать от разрушения. В шариате есть этика. Нужно её оберегать?

Вопрос не в том, есть этика или нет, а в том, какого она типа и какую функцию выполняет.

И снова поздравляю ВАс с неукоснительным соблюдением взимоисключающих параграфов и самокритичностью!

есть огромный многоцветный спектр человеческих этик, а мы сейчас его упростим до правильно/неправильно или, в лучшем случае, хорошо/плохо по мнению некоей условной нормативной группы. Это не просто примитивно - это концептуальная ошибка уровня "квадратная сфера".

[skvj]

Да, существовал миф если не кормить Солнце - оно умрёт.
Но этот миф не выражает этических желаний простых людей

У Ацтеков поражал, как поражали мифы что если не молится Богу в Христианстве, то нашлет бедствия, а потом в ад отправит навсегда

Я всё думал кого же вам нужно в пример привести? И вдруг понял - отец Фёдор!
Во что он там верил и во что обычно "верят" разного рода верующие - вопрос очень многослойный. Этим занимается специальная наука - сравнительное религиоведение - весьма занимательная штука, скажу я вам. Декларация веры как правило всегда фикция, как вы не поймёте, что есть Плакат, а есть реальность?
- Отдай колбасу - я всё прощу! ))
- Не корысти же ради!

[skvj]

Так, я всё, я на перерыв. Отвечу вечером, Rattus))

[BlackMokona]

Ни одна культура в истории никогда не исполняла свой нормативный текст буквально и полностью.
Люди верят в Библию - но не соблюдают камнеказнь.
Люди верят в Коран - но 90% мусульман мира живут в светских законах.

Это сейчас, когда религиозный угар в мире на минимуме в истории человечества
Даже всякие ИГИЛ сейчас, попав в прошлое в свой любимый Арабский Халифат. Были бы немедленно казнены за неверие