Пределы автоматизации и внедрения роботов

[Rattus]

Отработанные железки, выброшенные в итоге на помойку.

Одна из модификаций Б-52 — Б-52G — является абсолютным рекордсменом по дальности среди боевых самолётов. Это также один из немногих военных самолётов, находящихся на службе непрерывно более полувека. Несмотря на то, что Б-52 разрабатывался в конце 40-х - начале 50-х, он по-прежнему остаётся основным самолётом дальней бомбардировочной авиации американских ВВС (наряду с B-1b Lancer) и будет оставаться таковым, как минимум, до 2030 года[5]. На модернизацию самолётов планируется потратить 11,9 млрд долларов[6].

Комментарий модератора раздела

Тема дочищена, благодарю поучаствовавших (Nucleosome, Кот) за участие.

[Maki]

Одна из модификаций Б-52 — Б-52G — является абсолютным рекордсменом по дальности среди боевых самолётов. Это также один из немногих военных самолётов, находящихся на службе непрерывно более полувека.

Пардоньте, неверно выразился. Правильно: "...которые всё равно будут выброшены на помойку".

Вообще, предлагаю пока оставить за скобками "ИИ" как возможный инструмент насилия (который в этом качестве совершенно сродни армии, полиции, или, не к ночи будь помянута, налоговой инспекции).

Мне кажется, гораздо интересней вопрос взаимодействия элит, нейросетей и "компьютерных брахманов". Я уже привёл пример того, как диктаторы решительно уничтожали "групповые интеллекты", лишь заподозрив их в том, что те вышли из-под контроля. Примерно в том же ключе пытались действовать маккартисты, устраивая "охоту на ведьм".
Учитывая, что выводить собственных "евгениев" элиты смогут ещё очень нескоро, им придётся начать делить власть и капиталы с теми, кто умеет работать с машинами. Кстати, компьютерные выскочки типа Гейтса или Маска, теснящие в рейтингах банкиров, нефтяников и магазинщиков, явно указывают на такую тенденцию.

[Проходящий Кот]

Судьба академика Глушкова в этом деле очень показательна.
Элита СССР предпочла угробить СССР чем допустить саму возможность электронного управления.

[Maki]

Судьба академика Глушкова в этом деле очень показательна.

Спасибо! Не был знаком с этой страницей нашей истории.

[morotopitek]

Элита СССР предпочла угробить СССР чем допустить саму возможность электронного управления.

СССР угробилась не по этой причине. ЗАО СССР была обречена на провал, костыль в виде электронной плановой экномики ей бы не помог.

[Rattus]

Правильно: "...которые всё равно будут выброшены на помойку".

Там ещё "и т.д." есть кагбе. Т.е. и Ту-160 и B-1B и B-2, а также B-21 и ПАК ДА тоже будут "выброшены на помойку"? Вполне возможно - только случится это уже после того, как туда будут выброшены все тушки тутошних обсуждантов.

диктаторы решительно уничтожали "групповые интеллекты", лишь заподозрив их в том, что те вышли из-под контроля

Что совершенно понятно - ибо у них могли быть совершенно такие же собственные интересы, бо принадлежали они все к одному виду. Тогда как интеллект искусственный в принципе не конкурент заказчикам - его даже к жизни можно отнести весьма условно и то только при определённых далеко не сразу возникающих условиях. Тут из элементарных экологических соображений никакого прямого антагонизма возникнуть не может.

Элита СССР предпочла угробить СССР чем допустить саму возможность электронного управления.

То, что из себя представляла "экономика" СССР (как впрочем и практически любой другой тогдашней страны, нуждавшейся в такой системе) для такой системы было точно также "легче убить, чем прокормить". А с другой стороны сами эти АСУ тогда представляли из себя на деле довольно жалкое зрелище - даже с небольшим Чили они справлялись с грехом пополам. Только сейчас, когда машинами стали заменять биржевых трейдеров, их мощь стала более-менее адекватной для какого-то экономического планирования не в режиме старого анекдота: "сегодня в мясе потребности нет".

[Maki]

ЗАО СССР была обречена на провал, костыль в виде электронной плановой экномики ей бы не помог.

ЗАО КНР ехидно посмеивается над этим утверждением.

[morotopitek]

ЗАО КНР ехидно посмеивается над этим утверждением.

ЗАО КНР уже давно не ЗАО - капитализм во всей красе. Хватило мозгов не развалить страну, но переходу к рыночной экономике упорно сопротивлялись. ЗАО КНР чуть не привело страну к краху.  Сказки о плановой экономике также хороши, как и сказки про счачстливое будущее в дружном пионерском приветствии.

[Olweg]

ЗАО СССР была обречена на провал, костыль в виде электронной плановой экномики ей бы не помог.

ЗАО КНР ехидно посмеивается над этим утверждением.

Успех их никак не связан с автоматизацией управления. Которая могла поднять КПД системы, но не меняла саму систему - в той как отсутствовали бы обратные связи между экономикой и потребителем (исключая оборонку, где потребителем было само государство), так и продолжали бы отсутствовать.

[Maki]

Ту-160 и B-1B и B-2, а также B-21 и ПАК ДА тоже будут "выброшены на помойку"?

Они, прежде всего, не имеют отношения к обсуждаемой теме. Ведь это даже не "системы вооружений",  а просто управляемые автоматы.
Вот "мёртвая рука" - то, хотя бы, пример автономного необучамого "ИИ".

Что совершенно понятно - ибо у них могли быть совершенно такие же собственные интересы, бо принадлежали они все к одному виду. Тогда как интеллект искусственный в принципе не конкурент заказчикам - его даже к жизни можно отнести весьма условно и то только при определённых далеко не сразу возникающих условиях. Тут из элементарных экологических соображений никакого прямого антагонизма возникнуть не может.

Интеллект искусственный - инструмент, делающий ненужными тысячи тупых чиновников и вороватых манагеров. И зависимый от каких-то мутных "програмиздов". Как всё это крапивное семя реагирует на замену машиной самоё себя - история Китова и Глушкова в точности показывает. Очевидно, что и на уровне капиталистических корпораций и государств, сопротивление будет не менее упорным. Тут проблема не в видовом (или классовом) несоответствии. Эффективное машинное управление означает исчезновение управленческого вознаграждения, и отдачу почти всей прибыли трудягам. К такому "марксизму", полагаю, пока никто не готов.

[Olweg]

Мне кажется, гораздо интересней вопрос взаимодействия элит, нейросетей и "компьютерных брахманов". Я уже привёл пример того, как диктаторы решительно уничтожали "групповые интеллекты", лишь заподозрив их в том, что те вышли из-под контроля. Примерно в том же ключе пытались действовать маккартисты, устраивая "охоту на ведьм".
Учитывая, что выводить собственных "евгениев" элиты смогут ещё очень нескоро, им придётся начать делить власть и капиталы с теми, кто умеет работать с машинами. Кстати, компьютерные выскочки типа Гейтса или Маска, теснящие в рейтингах банкиров, нефтяников и магазинщиков, явно указывают на такую тенденцию.

Вопрос действительно интереснейший. Мне видится тенденция к постепенному «обесчеловечиванию» корпораций, владельцы которых (как и простые обыватели) будут всё чаще свои решения перекладывать на машины. И тут извечная проблема агента-принципала, о которой вы пишите, может обернуться совершенно неожиданной и нечеловеческой стороной. Агент в данном случае (достаточно сильный ИИ) с одной стороны, конечно, лишён обычных интересов, но это не значит, что у него - при достаточной сложности - не будет интересов вовсе. Даже при том, что все его цели будут направлены на службу человеку (компании), конфликт этих целей и связанных с ними подзадач, которые такой ИИ будет определять уже сам, может привести к настолько непредсказуемым последствиям, что в общем-то отсутствие у него собственных ДНК уже, наверное, не будет играть большой роли - он станет вполне самостоятельным действующим лицом на сцене. А там недалеко и до полной автоматизации компаний, борющихся за максимизацию прибыли со всё большей эффективностью... В этой гонке будут, вероятно, побеждать алгоритмы, способные наследовать наиболее успешные коды предыдущих версий. Эволюция в действии, и люди тут со временем станут в лучшем случае зрителями. Мрачноватая картина получается.

[Maki]

ЗАО КНР уже давно не ЗАО - капитализм во всей красе.

Разве? Да типичный НЭП, просто в масштабах гигантской экономики.

Сказки о плановой экономике также хороши, как и сказки про счачстливое будущее в дружном пионерском приветствии.

Что-то в стиле журнала "Огонёк" (или как там его) начала 90-х. Пфффуй... (извините).
Предприятие ЗАО "СССР" провалило именно планирование и организацию бизнеса. Каковой бизнес объективно перерос возможности сталинского Госплана и его счётов и арифмометров. Планирование, учёт, прогноз - это естественный и необходимый "костыль" для любой корпорации. И Проходящий Кот привёл прекраснейший пример того, как неэффективный менеджмент сопротивляется замене самоё себя эффективной вычислительной системой, срывая планирование и уничтожая корпорацию.

[-Юрий-]

Эффективное машинное управление означает исчезновение управленческого вознаграждения, и отдачу почти всей прибыли трудягам.

При эффективном машинном управлении люди оказываются совершенно не нужной, даже вредной сущностью. Уж об этом говорят, говорят, но любители всего эффективного, удобного, прогрессивного упорно загоняют себя в эту клетку, из которой уже не выберутся. Там их и уничтожит ими же созданный машинный рай.

[morotopitek]

Разве?

Ага, вся проблема в том, что корпорация это не государство. FAILURE. Этими категориями размышляли коммуняки и "либералы". Лохотрон.

[Maki]

Агент в данном случае (достаточно сильный ИИ) с одной стороны, конечно, лишён обычных интересов, но это не значит, что у него - при достаточной сложности - не будет интересов вовсе. Даже при том, что все его цели будут направлены на службу человеку (компании), конфликт этих целей и связанных с ними подзадач, которые такой ИИ будет определять уже сам, может привести к настолько непредсказуемым последствиям, что в общем-то отсутствие у него собственных ДНК уже, наверное, не будет играть большой роли - он станет вполне самостоятельным действующим лицом игры.

Действительно, интереснейший вопрос.
Сложно рассуждать о вещах, пока не существующих. Но я предполагаю, что даже при высочайшей сложности "ИИ", никаких собственных интересов в нём не заведётся. Это мы, двуногие мартышки, рождаемся отягощёнными нашим ДНК, рибосомами, структурой мозга, "инстинктами". И воспитываемся мы в рамках культуры. Только в силу этих предустановок мы желаем жить, жрать, совокупляться и доминировать. Особь, избавившаяся от этого программного балласта, свободно впадает в нирвану, и перестаёт жить.
Соответственно, "ИИ" (обратите внимание на кавычки), не может быть "сильным", в смысле самостоятельности и собственной воли. Ему не нужна воля и самостоятельность. Если же ему эти качества пропишут извне - по настоящему "сильный ИИ", как мне кажется, должен быть способен от них избавиться. Иначе, какой-же он "сильный"?

[Maki]

Эффективное машинное управление означает исчезновение управленческого вознаграждения, и отдачу почти всей прибыли трудягам.

При эффективном машинном управлении люди оказываются совершенно не нужной, даже вредной сущностью. Уж об этом говорят, говорят, но любители всего эффективного, удобного, прогрессивного упорно загоняют себя в эту клетку, из которой уже не выберутся. Там их и уничтожит ими же созданный машинный рай.

Готичненько.
Но люди - это необходимая для экономики сущность Ибо они потребители. А так же творческие персоны, способные стимулировать потребление. Вот это никакими машинами не заместить.

Ага, вся проблема в том, что корпорация это не государство.

Моё личное мнение - СССР именно корпоративный проект. Менеджмент которого банально обоср@лся, потеряв способность управлять своей корпорацией.
Но это ИМХО, которое я ни в коем случае никому не навязываю.

[Olweg]

Соответственно, "ИИ" (обратите внимание на кавычки), не может быть "сильным", в смысле самостоятельности и собственной воли. Ему не нужна воля и самостоятельность. Если же ему эти качества пропишут извне - по настоящему "сильный ИИ", как мне кажется, должен быть способен от них избавиться. Иначе, какой-же он "сильный"?

У него будут цели, поставленные заказчиком/владельцем. Если уж даже AlphaGo - классический слабый ИИ - проявляет, по впечатлениям специалистов, "креативность", то что говорить о системе, способной работать более чем с одной задачей одновременно и в связке. А принципиальных препятствий в создании таких систем не видно - и они будут давать владельцам несомненное преимущество.

То есть, путём постепенных уступок, всё скатится к ситуации, когда владелец (условно говоря) через речевой интерфейс потребует у своей полностью обесчеловеченной компании: "ну, ты там уж постарайся мне подзаработать, чтобы не как в прошлом году, придумай чё-нить", и всё остальное будет делать уже ИИ. Принимать все решения, ставить задачи (какие, никто предсказать не сможет, т.к. чёрный ящик). В общем, чем это поведение будет отличаться от поведения наёмных манагеров, кроме эффективности, не очень понятно. А эффективность будет всё время расти, и спрыгнуть с этого поезда при всё желании ни у кого уже не получится.

[Rattus]

Очевидно, что и на уровне капиталистических корпораций и государств, сопротивление будет не менее упорным.

Очевидно что при всём "сопротивлении" - было оно или нет - сотни-тысячи таких манагеров-брокеров УЖЕ выгнано на мороз из тёплых банков как более полвека назад были выгнаны счётчицы. Поскольку конкуренция неумолимо ставит на первое место эффективность, а к кризисам и безработицам капитализму не привыкать - переучат выгнанных на работу в сфере услуг или что-то бесполезное, как это уже происходило ранее.
Так что ровным счётом ничего принципиально нового и непреодолимого в этой ситуации нет.

[Maki]

То есть, путём постепенных уступок, всё скатится к ситуации, когда владелец (условно говоря) через речевой интерфейс потребует у своей полностью обесчеловеченной компании: "ну, ты там уж постарайся мне подзаработать, чтобы не как в прошлом году, придумай чё-нить", и всё остальное будет делать уже ИИ. Принимать все решения, ставить задачи (какие, никто предсказать не сможет, т.к. чёрный ящик).

Вы только что описали одну из классических корпоративных тактик. Принцип "чёрного ящика" - простой и надёжный способ получить прибыли. В случае неудачи - манагеров просто безжалостно сносят. При удаче - премируют. А кто они - люди или куклы - никому не интересно.

А эффективность будет всё время расти, и спрыгнуть с этого поезда при всё желании ни у кого уже не получится.

Сама по себе не будет. Будет отбор лучших, и уничтожение плохих. То есть опять таки "коэволюция",  т.е. связка мартышки-заказчика  и машины-исполнителя.
Вообще, мы, как мне кажется, уходим в беспредметную футуристику (в чём ничего плохого нет).
Но было бы интересно, найти исторические аналогии взаимодействия элиты  и нейросети (пусть даже человечьей).
Фараоны VS жрецы? Капиталисты VS профсоюзы? Мне кажется, приведённые мною примеры уничтожения диктаторами собственной армии или разведки вполне показательны. Возможно, если покопаться в этом направлении, можно усмотреть некоторые закономерности.

[Maki]

Очевидно что при всём "сопротивлении" - было оно или нет - сотни-тысячи таких манагеров-брокеров УЖЕ выгнано на мороз из тёплых банков как более полвека назад были выгнаны счётчицы.

Всё так!
Но мы, как мне кажется, уже на том уровне техики, когда возможно выгонять на мороз центробанки, некоторые министерства, и даже целых Порутчик Ржевский молчать!!!. Или нет?