Пределы автоматизации и внедрения роботов

[Rattus]

Это все конечно замечательно. Если все носители разных ценностей живут по принципу "живи сам и давай жить другим". Но что, если нет? Если ценности группы А оскорбляет само существование группы Б? Если одна из их базовых ценностей – беспощадная борьба на уничтожение группы Б?

Ага - классическое "расхождение по земельному вопросу". По изложенному ясно, что автор имеет счастье обитать далеко вне Леванта области тесного проживания групп с данным расхождением.

[ivanij]

  К вопросу о... генерировании текста с помощью ИИ. Вот образец ДИНАМИЧЕСКАЯ ГРАВИТАЦИОННАЯ СЕТЬ КАК ПРИРОДА ТЕМНОЙ ЭНЕРГИИ. Но как распознать, по какому критерию, что он искусственно создан? Я за такую задачу, честно скажу, не взялся бы...

[skvj]

Элаймент - это не согласование мировоззрений, а понимание различия мировоззрений без разрушения ни одного из них. Человек говорит: у разных людей разные ценности. Инженер говорит: как их привести к общему знаменателю? А ИИ, когда будет достаточно развит, скажет: не надо сводить ничего.

Это все конечно замечательно. Если все носители разных ценностей живут по принципу "живи сам и давай жить другим". Но что, если нет? Если ценности группы А оскорбляет само существование группы Б? Если одна из их базовых ценностей – беспощадная борьба на уничтожение группы Б? Или, как минимум, искоренение в группе Б определенных практик, членами группы Б считающихся традиционными и правильными?
Беда в том, что иные системы ценностей между собой не примирить. И если ИИ примет их как равноправные, недовольны будут и А, и Б.

Вы задаёте правильный вопрос, только путаете два уровня - этика как система ценностей и патологические паттерны поведения, ведущие к вреду. Если не разделить эти два слоя получается тупик: А хочет уничтожить Б, Б хочет жить непримиримо! Но это псевдопарадокс. Он появляется только когда мы называем деструктивную стратегию ценностью. Это ошибка категории.

Когда группа A хочет уничтожить группу B это не этика. И не ценностная система. Это поведенческая стратегия максимизации доминирования. Биологи называют такое явление "агрессивный Nash equilibrium", социологи "тоталитарной меметической конструкцией", а психология "травматическим ответом группы". Но никто не называет ценностью. Никто из специалистов по этике не называет геноцид ценностью. Это не мировоззрение, это механизм разрушения кооперации. И вот здесь вступает ИИ не как судья, а как система, которая умеет отличать ценность от агрессии, завернутой в культурный фантик.

Иначе. Преступное сообщество - члены преступники, уголовники.
У них нет никакой этики - они мимикрируют под неё, и подменяют "понятия" реальной этикой. Например - даже в преступном сообществе - их деятельность полностью осуждаемая. Что они делают? Прикидываются нормальной этикой - сначала расчеловечивают жертву - это лох, терпила, мы должны его кинуть - он плохой. Кидать нормальных людей, грабить и убивать - осуждается именно в их же сообществе в том числе. Это же самое делает любая диктатура - она инакомыслящих представляет не людьми, не достойными никакого сочувствия, а просто субъектов, подлежащих репрессии, врагов и не достойных жить рядом с ними. Нигде - ни в какой этике - уничтожение себе подобных недопустимо.

Преступное сообщество, тоталитарная секта, диктатура, экстремистское движение - они заимствуют форму этики, используют моральные слова, но внутри нет этики. Там есть инструментальные стратегии.
У них не система ценностей. У них модель поведения, легитимизирующая вред.

[Olweg]

Никто из специалистов по этике не называет геноцид ценностью. Это не мировоззрение, это механизм разрушения кооперации.

Геноцид может быть вполне логичным следствием мировоззрения, как у нацистов, например.

[skvj]

Olweg

Никто из специалистов по этике не называет геноцид ценностью. Это не мировоззрение, это механизм разрушения кооперации.

Геноцид может быть вполне логичным следствием мировоззрения, как у нацистов, например.

Ага, именно поэтому после войны они как один говорили "мы не знали", "мы не ведали", "так были устроены распределения", "мы просто исполняли приказы". Их идеология не рождала геноцид - геноцид рождал идеологию. Вся их конструкция была построена на расчеловечивании: евреи, славяне, цыгане объявлялись не людьми, как я и описал выше. И биологической опасностью - и прочей чушью. Это не этика, не ценность и не мировоззрение - это технология оправдания разрушения кооперации. И разрушение собственного общества - незамедлительно. Они не убивали людей. Они уничтожали нелюдей. А людям они несли благо. Просто невежество и подделка под ценности - как у любого уголовника и бандита.

[Rattus]

Когда группа A хочет уничтожить группу B это не этика. И не ценностная система... Это не мировоззрение, это механизм разрушения кооперации

А, ну то есть до первых гуманистов и эпохи Просвещения никакой этики не было, надо полагать?
Ну и что там по ацтекам - если оставить в стороне их агрессивное/миролюбивое отношение к другим группам, а рассматривать только внутригрупповые отношения - как там с их мировоззрением на человечьих жертвоприношениях дело обстоит - разрушать али сохранять?

[skvj]

А геноцид в Руанде 1994 года? Это как раз самый страшный пример того, как расчеловечивание → пропаганда → разрушение кооперации → массовое убийство. Хуту и тутси. Это не разные расы, не разные цивилизации - это изначально социальные группы внутри одного языка и культуры.

[vika vorobyeva]

Когда группа A хочет уничтожить группу B это не этика. И не ценностная система. Это поведенческая стратегия максимизации доминирования.

Вам уже приводили в пример радикальный ислам. Это вполне себе логичная ценностная система.
Все должны жить по шариату. Кто не согласен жить по шариату – должны быть уничтожены.

Помнится, вступая в комсомол, я учила моральный кодекс строителя коммунизма. Там тоже была непримиримая и беспощадная борьба (другое дело, что практика на тот момент уже заметно отличалась от теории). И если у ИИ будет мировоззрение, выровненное с МКСК – мало тоже не покажется.

[skvj]

Когда группа A хочет уничтожить группу B это не этика. И не ценностная система... Это не мировоззрение, это механизм разрушения кооперации

А, ну то есть до первых гуманистов и эпохи Просвещения никакой этики не было, надо полагать?
Ну и что там по ацтекам - если оставить в стороне их агрессивное/миролюбивое отношение к другим группам, а рассматривать только внутригрупповые отношения - как там с их мировоззрением на человечьих жертвоприношениях дело обстоит - разрушать али сохранять?

То, что ацтеки приносили людей в жертву, не делает жертвоприношения этической нормой. Это как капкан, в который попадали древние общества. Это ритуал, который выполнял функции: укрепление власти, поддержание страха, сакральная легитимация. Ритуал это не ценностная система, а культурная технология. То же самое мы видели в Древней Спарте, в Камбодже Пол Пота, в Руанде, у нацистов, в Инквизиции. Чтобы держать в диком страхе соплеменников. Ацтеки - ненавидели жертвоприношения. Это хорошо подтверждённый антропологией и археологией факт: ацтеки ненавидели жертвоприношения, боялись их, и воспринимали весь этот культ как кошмарный механизм подчинения, а не как норму этики.

Все общества, существовавшие хоть сколько-нибудь устойчиво, имели одно общее ядро:
"член моей группы - человек, и его убийство без причины недопустимо".

Ацтеки тоже так считали.
Жертвами становились пленные, чужаки, обезличенные категории. А когда приносили в жертву своих, особенно детей - это редкие ритуалы - чтобы держать в страхе. Жрецы и правители были профессиональными манипуляторами. Их власть держалась на том, что они якобы обеспечивают порядок и солнце. Но на практике это был репрессирующий ритуальный аппарат, аналог авторитарной машины, только в религиозной упаковке. Как только группу объявляют не людьми, недочеловеками, тараканами, еретиками, врагами расы начинается расчеловечивание. Это не этика. Это разрушение кооперации через создание категории, которую можно убивать без угрызений совести.

Любая форма геноцида, жертвоприношений, репрессий и массовых убийств держится на одном и том же механизме:
перед тем как кого-то уничтожить, его перестают считать человеком.

Это не ценностная система. Это баг, паразит, вирус.
Именно поэтому антропологи называют такие практики анти-кооперативными структурами, а не этическими нормами.
Этика как дисциплина - от Конфуция до стоиков, от индийских текстов до гуманистов - всегда строилась на базовом принципе: человек субъект, обладающий ценностью.

[skvj]

Вам уже приводили в пример радикальный ислам. Это вполне себе логичная ценностная система.

На то он и радикальный, что мимикрирует под нормальный. Они подменяют ценности ислама фикцией. Мы что по кругу будем ходить?))
Вы в нормальных странах исламских бывали? Там замечательные люди живут и в ужасе от радикалов - точно также как и вы.

[Rattus]

То, что ацтеки приносили людей в жертву, не делает жертвоприношения этической нормой.

На то он и радикальный, что мимикрирует под нормальный.

Типа есть огромный многоцветный спектр человеческих этик, а мы сейчас его упростим до правильно/неправильно или, в лучшем случае, хорошо/плохо по мнению некоей условной нормативной группы. Это не просто примитивно - это концептуальная ошибка уровня "квадратная сфера".

Самокритично.

Ацтеки - ненавидели жертвоприношения. Это хорошо подтверждённый антропологией и археологией факт: ацтеки ненавидели жертвоприношения, боялись их, и воспринимали весь этот культ как кошмарный механизм подчинения, а не как норму этики.

Можно на эти самые подтверждения посмотреть?

[BlackMokona]

Это не поможет ему закрепить моторные навыки. Можно сколько угодно смотреть на пианистов - играть самому от этого легче не будет.

Кроме моторных навыков нужны ещё теоретические знания. А так же постановка рук и многое другое, что достигается наблюдением.

[AlexDark]

Этика - это система ценностей, да. но с чего вы взяли, что эта система ценностей должна быть приближена к современной? В художественной литературе промоделированы кучи разного рода фантастических и фэнтезийных сообществ с совершенно дикими с точки зрения современного обывателя, но при этом целостными системами ценностей в рамках данных сообществ. В реальности такие сообщества тоже есть - "блатные" т.н. например. У которых есть свой "моральный кодекс" (ну или был во времена "старорежимных" воров), который в той среде считается нормой, а вне среды - либо просто неприемлемым, либо откровенно диким.

[BlackMokona]

Вы в нормальных странах исламских бывали? Там замечательные люди живут и в ужасе от радикалов - точно также как и вы.

Потому что там тоже уже откатились от буквального понимания Корана. От чего тот же Джихад предпочитают трактовать не как священную войну до последнего неверного, а как внутреннею борьбу с пороками. Да прочие такие финты перекаты. Но стоит только уровню религиозности подняться, как буквальность резко возрастает. Ну и ценности, если на них учить ИИ, он то буквально прочитает

[Leonidsm99]

А можно узнать название хоть одного лекарства, которое широкомасштабно производится на основе любой из этих трех веток? Не в RnD количествах, не в экспериментальных программах.

Насколько я знаю, широкомасштабного производства лекарств на основе ИИ пока нет, это и не удивительно, ведь нейронки стали сильнее совсем недавно, но Инет уже наполнен контентом про то что "ИИ помог найти лекарство" и т.п. Сама система создания лекарств требует, чтобы сначала прошло как минимум несколько лет исследований, смотрел про это интервью Дудя с Дороничевым

[BlackMokona]

Насколько я знаю, широкомасштабного производства лекарств на основе ИИ пока нет, это и не удивительно, ведь нейронки стали сильнее совсем недавно, но Инет уже наполнен контентом про то что "ИИ помог найти лекарство" и т.п. Сама система создания лекарств требует, чтобы сначала прошло как минимум несколько лет исследований, смотрел про это интервью Дудя с Дороничевым

Просто на одобрение лекарства регулятором уходит лет 10+

[Ulkolainen]

Можно сколько угодно смотреть на пианистов - играть самому от этого легче не будет.

И тем не менее, подросток-водитель после 10 часов автошколы принципиально не отличается от подростка-пианиста, умеющего исполнять "Чижика-Пыжика".  Разучить за те же 10 часов одну простенькую мелодию очень даже возможно.
К ИИ-автопилотам предъявляются требования несоизмеримо более высокие. В переводе на фортепьянный - сначала сыграй нам Рахманинова, а после мы подумаем, выпускать ли тебя с площадки в город. 

Зато несовременные (Пржевальского) Чуть к югу от моего местообитания табунами бегают на воле, плодятся и радуются жизни в заповеднике.

Ну так: в заповеднике!
Вне его б-м неплохо себя чувствуют только утки и кабаны. Остальные дикие популяции ранее одомашненных видов либо уже исчезли либо нуждаются в человеческих природоохранных мероприятиях, чтобы не исчезать.

Какое-нибудь ацтекское мировоззрение с представлением о необходимости человеческих жертвоприношений для продолжения круговорота жизни тоже разрушать не следовало?

Скорее нет, чем да.
Потому что разрушали-разрушали, а на обломках получили культ Санта-Муэртэ, эндемичный именно для Мексики, для пост-ацтекского культурного пространства. Вдобавок, у самих разрушителей рыльце было в пушку, т.е. костры инквизиции во время Конкисты еще горели. И вообще, через этап жертвоприношений проходили почти все культуры, и почти все естественным эволюционным путем прошли, оставив его в темном прошлом. Одни мексиканцы застряли в полупозиции. 

[Konstantin Schtsch]

А что если в итоге сгенерирует неправильное решение и врежется машина в стену? Или лекарства намешает так, что пациент помрет тут же на месте! Или что то еще учудит!) Как этому "генератору случайных чисел" вообще можно что то серьезное доверять!?)  Если у него нет системы отсева ложных или несуществующих комбинаций!

Да то же самое, что и если намешает уставший голодный анестезиолог с зарплатой в ипотека+коммуналка+бутылка_кефира+полбатона.
Разница чейчас лишь в том, что ИИ ошибается в 5-10 раз реже. Потому что у него как раз есть тот самый механизм отсева ложных и несуществующих комбинаций, и в отличие от человека - он может все эти комбинации за секунду просеять и перебрать.

Когда ДТП совершает человек - ну, подумаешь, САМАЯ распространенная причина насильственной смерти, сколько там того миллиона ежегодно - по сравнению с 8 млрд? тьфу- мелочь!
А когда ИИ задавил одну-единственную бабку - ночью, на трассе, в неположенном месте, с ограждениями, которые эта бабка еще хз как перелезла и кинулась под колёса - ой, мамочки, батлерианский джихад начался!

Суцкевер в недавнешнем интервью сказал, что человек генерализует гораздо лучше ЛЛМок. Приводит в пример подростков, которым нужно, условно, часов десять, чтобы научиться водить машину. Что-то такое есть в человеческих мозгах, что позволяет очень быстро обобщать, то ли эволюционные оптимизации, то ли хорошо прописанные функции ценности (эмоции?), то ли в принципе сам алгоритм работы принципиально другой. Проблема, что никто до сих пор не знает, что делает человек, когда он думает.

Те же яйца: значит мы берем пустую операционку с программой обучения и подростка с 16 годами предобучения (с 16 лет теперь можно?)+целый инструктор - и ой, чёт подросток доучивается быстрее.
Тогда как правильное, адекватное сравнение: пустая операционка +младенец, или вставил флэшку- и обучил на уровне аса быстрее чем подросток пристегнул ремень.
А ещё ОООчень большой вопрос- научился ли этот подросток не за три часа и за за три месяца в автошколе вождению хотя бы на уровне, позволяющем его выпускать на дороги, ооочень спорный вопрос.

[BlackMokona]

А когда ИИ задавил одну-единственную бабку - ночью, на трассе, в неположенном месте, с ограждениями, которые эта бабка еще хз как перелезла и кинулась под колёса - ой, мамочки, батлерианский джихад начался!

Что самое интересное, что ИИ бабку заменил и послал команду на систему тормозов. Только вот система тормозов не была подключена к компьютеру ИИ, потому как на тормоза должна была нажимать женщина испытатель, нанятая следить за ИИ. Но женщина испытатель зависла в телефончике.

[skvj]

То, что ацтеки приносили людей в жертву, не делает жертвоприношения этической нормой.

На то он и радикальный, что мимикрирует под нормальный.

Типа есть огромный многоцветный спектр человеческих этик, а мы сейчас его упростим до правильно/неправильно или, в лучшем случае, хорошо/плохо по мнению некоей условной нормативной группы. Это не просто примитивно - это концептуальная ошибка уровня "квадратная сфера".

Самокритично.

Вы неверно прочитали мою мысль. Никакого противоречия нет, потому что я говорю о двух разных уровнях описания этики:

Уровень 1 то, что люди называют этикой
Здесь есть всё: ацтекские ритуалы, радикальный ислам, моральные кодексы, лозунги тоталитарных режимов. Это - декларации. Они могут мимикрировать под мораль, выглядеть как мораль, пользоваться её языком. Но их фактическая функция может быть любой - вплоть до разрушения общества.

Уровень 2 то, что является этикой функционально.
Это то, что обеспечивает кооперацию и устойчивое сосуществование людей. На этом уровне:
- жертвоприношения не норма
- геноцид не практика ценности
- радикализм любого толка - это инструмент разрушения кооперации.

Когда я говорю "это не этика", я говорю о функциональном уровне - о том, как такие практики реально действуют на социальную систему.
Когда я говорю "мимикрирует под нормальное, я говорю о декларативном уровне - о том, как идеология маскирует свою функцию.

И когда я говорю, что "нельзя сводить этику к правильно/неправильно", я говорю про то, что реальный спектр этик широк, и ИИ должен понимать его как пространство деклараций и контекстов, а не через бинарную плашку "рейтинг морали".

Все три тезиса - об одном и том же: разница между тем, что люди называют этикой, и тем, что этика делает в системе.

И любое тоталитарное движение, хоть ацтеки, хоть нацисты, хоть радикальный ислам, хоть большевики, использовало риторику морали как маску для механизмов принуждения. Никаких противоречий нет - есть два уровня анализа, и игнорировать это и есть настоящая ошибка.

Ацтеки - ненавидели жертвоприношения. Это хорошо подтверждённый антропологией и археологией факт: ацтеки ненавидели жертвоприношения, боялись их, и воспринимали весь этот культ как кошмарный механизм подчинения, а не как норму этики.

Можно на эти самые подтверждения посмотреть?

Конечно можно, почему нельзя? Смотрите на здоровье

"The Aztecs" Michael E. Smith (Cambridge University)
"Religions of Mesoamerica" Davíd Carrasco (Brown University)
Eduardo Matos Moctezuma, руководитель раскопок Темпло Майор. Отчёты показывают - 80% жертв не ацтеки.

Но дело ещё в том, что это уже период раннего Нового времени (так называемая эпоха "конкиста") и есть даже описания очевидцев с обоих сторон.
Испанские хроники Сахагун, Мотолиния описывают массовый страх у жителей от ритуалов. Если скажете, что конкистадоры преувеличивали, то есть и описания современников с противоположной стороны. Т.е. местные, индейские записи. Они ещё страшнее. В Флорентийском кодексе (Сахагун) ацтеки рассказывают о вечном страхе, что жрецы возьмут наших сыновей. Об ужасах и страхах ритуалов, как буквально дрожали люди. Это лучшее сохранившееся собрание аутентичных ацтекских источников, включая грамматику и словарь науатль, повлиявшее на понимание культуры эпохи конкисты.

https://www.getty.edu/news/a-rare-500-year-old-manuscript-gets-a-second-life-online/

Ещё
Marvin Harris, "Cannibals and Kings"
Neil Whitehead, "Violence in the Americas"