Посттехносингулярный мир и искусственный суперинтеллект: как он будет выглядеть?

[Rattus]

может колибри?

Разумеется. Fixed.

Ну так и скрепочник будет этим инвазивным видом.

Не будет. Потому что: 1) он не живой (не замкнутая самовоспроизводящаяся система) и потому в принципе не может представлять собой какой-то там "вид" 2) не адаптирован к этому самому воспроизведению в дикой среде с конкурирующими системами сколь-нибудь заметный срок.

Штука должна быть куда более универсальной.

А мы с вами все должны быть миллиардеры с яхтой. И?

Однако давно одомашены.

Но не сконструированы de novo.

Но всё ещё вырываясь во внешнию среду представляют опасность.

Чем наглядно демонстрируют, что одомашнивание далеко не полно.

Вон сейчас шумят по поводу нападений стай диких собак в городах.

Именно что диких. Это свойство в них не выведено, а унаследовано от дикого предка.

Так цитата обратная от вашего ответа. Хах

И? Это как-то опровергает изложенный тезис?

Фатальные ошибки происходят всего раз и если они бы произошли, мы бы уже не разговаривали.

Ясен перец есть ошибка наблюдателя. Но единственный нам известный пример потенциально-фатальной ошибки таки не случается уже более одного поколения принимающих решения. Это никак не говорит о том, что система совершенно безопасна, но с течением времени повышает оценку её безопасности. Других более общих и объективных критериев просто нет.
Той же "технологии" о которой идёт речь, не только не существует на данный момент, но нет даже внятного описания её возможных физических характеристик. Что делает её неотличимой от "Всемогущего Господа" и как следствие - не являющейся предметом содержательного обсуждения сверхъестественной сущностью согласно  п.5.3. Правил Раздела и подлежит устранению модератором как нарушение п.3.1.ж Правил Астрофорума.

[BlackMokona]

Насколько я помню, этот умозрительный эксперимент с автоматическим директором предприятия производящим скрепки изначально предполагал, что там будут действительно производить скрепки. Но уже здесь мы выяснили, что его, директора этого, придётся снабжать как минимум огнемётами, а то и ядерными ракетами. Для производства скрепок. А то фатальные последствия не наступят. Если его начнут серьёзно готовить к войне против всего мира на истребление ради производства чего-либо, то возникнет вопрос - в своём ли уме учёные? Ведь для всеобщего уничтожения вполне достаточно начать ядерную войну, делать для этого каких-то роботов избыточно.

А они причём? Получили заказ на ИИ для управления заводом скрепок, сделали ИИ и отправили заказчику. Тот загрузил в завод и спокойно ждёт прибылей. А что уж ИИ там заказывает или мастерит для своих нужд ему побоку, он денег ждёт

[Rattus]

В альтернативной либертарианской реальности, где частным компаниям позволяется делать всё что угодно, по всему миру одни законы и госграниц по сути не существует.

[Metatron]

А также ИИ не делает отчетов владельцам, не имеет сторонних аудитов - и даже бухгалтера не имеет который должен подписывать счета на покупку огнеметов и бомб.
Очередной сферический конь в вакууме.

[Rattus]

и даже бухгалтера не имеет который должен подписывать счета на покупку огнеметов и бомб.

Главбухом может быть и сам ИИ. Хотя бы в принципе. Собственно там ему место в первую очередь. Счета же по любому должен подписывать гендир - лицо, которое по закону любой страны должно быть в компании физическим.

[Kaiserfrogling]

И кроме того, французская академия наук в этот "антинаучный список" позже добавила "любые способы и устройства для передачи мыслей, текста и изображений на расстоянии". Прямо сейчас, уважаемые читатели вы видите перед собой монитор - наглядное  доказательство того, как сильно ошибалась наука в те времена!

Странная какая-то академия наук - даже про существование почты не знала для передачи картинок и текста.

В проскрипте Академии говорилось о ненаучности телепатии, и нет ни одного слова о почте! По какой причине вы видите сходство между почтой и телепатией - я не знаю!
Ладно для самых въедливых буквоедов немного расширим текст Академии:
"Академия Наук признает ненаучными и не подлежащими рассмотрению любые способы и устройства для прямой передачи мыслей, текста и изображений на большие расстоянии - телепатии, ясновидения, психо-фрико-вангования, гадания на картах, хрустальных шарах итд".
Многие фантасты, в том числе Стругацкие и Кир Булычев, отметили сильное сходство телевизора и приборов для ясновидения - хрустального шара и волшебных зеркал, таких как они описаны в сказках. По сути сказка и правда стала явью!

один  реальный ИИ,

https://ru.wikipedia.org/wiki/Искусственный_интеллект#Происхождение_и_смысл_термина
Напомню что русское слово интеллект на английском так и есть intellect,а intellegence примерно переводится как "умение решать задачи". И в этом смысле математический интелледженс имеет простейший арифмометр.
Еще раз повторю для всех читателей это темы (особенно Раттуса) - intellegence это не интеллект!

Никакой технологической сингулярности в природе не существует.

Но есть прикладные гипотезы, чьи доказательства занимают несколько десятков страниц, и на проверку которых уходит по нескольку лет.

https://ru.wikipedia.org/wiki/Гипотеза_Кеплера
https://mathworld.wolfram.com/KeplerConjecture.html
Для знаменитой сборки Кеплера компьютер нашел решение занимающие 3 ГИГАБАЙТА, для человеческой проверки которых нужно около миллиона лет. Краткий конспект этих 3 гигов также сделанный АИ, занял 250 страниц которые ученые за несколько лет кое-как проглядели наспех, после чего сборка Кеплера была объявлена подтвержденной.

[BlackMokona]

В альтернативной либертарианской реальности, где частным компаниям позволяется делать всё что угодно, по всему миру одни законы и госграниц по сути не существует.

Ну почти в этой реальности мы и живём. Вон например один часто обсуждаемый бизнесмен купил власти, чтобы не мешали ему пускать ракеты.

Главбухом может быть и сам ИИ. Хотя бы в принципе. Собственно там ему место в первую очередь. Счета же по любому должен подписывать гендир - лицо, которое по закону любой страны должно быть в компании физическим.

Неа

В августе прошлого года NetDragon Websoft — гонконгская компания, специализирующаяся на онлайн-играх с годовым доходом в 2,1 миллиарда долларов, — назначила генерального директора своей флагманской дочерней компании.

Новый руководитель, Танг Юй, отвечал за все типичные обязанности подставного лица компании: анализ высокоуровневой аналитики, принятие управленческих решений, оценку рисков и создание эффективного рабочего места.

Она работала 24/7, не спала и получала компенсацию 0 долларов в год.

Но была загвоздка: Ю не был человеком. Она была виртуальным роботом с искусственным интеллектом.

https://vc.ru/flood/639803-kak-kompaniya-naznachila-iskusstvennyi-intellekt-generalnym-direktorom-vot-chto-iz-etogo-vyshlo

[Metatron]

Кстати - один умный товарищ резонно заметил что у нас уже лет как 100 есть действующий пример ИИ с отличной от человеческой моралью.
Это корпорации. Цель у которых - максимизация прибыли.

И хотя отдельные корпорации действительно совершали преступления, но в основном человечество выиграло от их создания.
Никто ради скрепок не занялся уничтожением человечества.
Потому что понимают что без человечества скрепки никому не нужны.

Трудно представить что будет такой тупой ИИ который этого не поймет.
И еще труднее представить что такому тупому ИИ дадут полную власть без каких либо средств контроля его деятельности.

[BlackMokona]

Никто ради скрепок не занялся уничтожением человечества.

Так это не потому что корпорации добрые, а потому что их постоянно правительство топтали железными сапогами. А корпорации состоят из людей, которые подвержены всем способам влияния политиков. От промывки мозгов до физического устранения.

[Metatron]

А ИИ у нас конечно будет всякого контроля лишен.. Ха-ха. классная шутка.

[BlackMokona]

А ИИ у нас конечно будет всякого контроля лишен.. Ха-ха. классная шутка.

Да тут как раз дело в том, что двигаемся к этому. Что контролировать это сверхчеловеческое существо будет просто нереально.

[Серый Страж]

А вот если этот инструмент используется по желанию или в целях самой системы (например, для выполнения её желания, для её выживания, в целях её выживания), то это уже разум.

Как уже писал - это не общепринятый подход, поскольку интеллектуальное в широком смысле адаптивное (т.е. направленное на самомохранение) поведение наблюдается даже у бактерий, но разумной практически всю жизнь только из-за этого никогда не станут,

Интеллектуальное вовсе не равнозначно адаптивному – адаптироваться можно и за счёт силы, объёма, количества, скорости репликации, пластичности и т.д. и т.п. Мало того, интеллектуальное может даже оказаться контрадаптивным.

Адаптивное уже более-менее равнозначно самосохранению. Поэтому, «адаптивное, направленное на самосохранение», это немножко «масло масляное».

А вот когда «адаптация, направленная на самосохранение», происходит с помощью интеллекта, тогда это уже проявление разумности.

ибо тогда эти понятия становятся очень малоразличимыми - практически синонимичными.

Прекрасно они различаются по последствиям. Если утрировать, то самому по себе интеллекту на самосохранение «начхать», а вот для разума самосохранение является критически важным.

Интеллектуальное вовсе не равнозначно разумному.

Интеллектуальное вполне может быть и не направленным на самосохранение (и вообще контрадаптивным), а просто «из любви к искусству» (или «от нечего делать»). Кроме того, люди зачастую такой «хренью страдают», требующей недюжинной интеллектуальности, которая их потихонечку «в гроб загоняет». И таковое (например, поведение) мы не называем разумным, а вот то, что оно интеллектуальное, мы не спорим.

Повторю:

Интеллект системы – это вычислительный функционал (практически в физико-математическом смысле слова) системы.
Разум системы – это способность системы реализовать стремление к самосохранению средствами интеллекта.

Уже из этих определений видно, что изменяя интеллект можно добиться того, что система начнёт реагировать конрадаптивно, не реализуя собственное стремление к самосохранению (типа, «промывание мозгов» для «воспитания шахидов»), при этом реализуя какие-то чужие желания .

Следует понимать, что за счёт интеллекта возникает многообразие тактик, стратегий, способов реализации самосохранения. Но за счёт интеллекта возникает и много «левых» реакций, зачастую бесполезных, а иногда и откровенно вредных. И разумность реакции системы мы определяем именно по результату (иногда это очень отдалённый результат) работы интеллекта.

Именно, по результатам мы судим о разумности того или иного поведения в той или иной ситуации той или иной системы. И прямой зависимости от интеллекта здесь нет (можно «затупить» от незнания, обладая нормальным интеллектом, можно не додуматься из-за слабого интеллекта, можно «перемудрить», обладая сильным интеллектом и т.д.).

Зачастую, обладая невысоким интеллектом, но зная о ситуации, можно поступить очень разумно. А иногда обладая мощным интеллектом, но, не обладая необходимыми знаниями о ситуации, можно поступить неразумно. Ну, и «перемудрить», обладая развитым интеллектом (слабый интеллект не склонен к такому), тоже легко, выдумывая разные сложные модели ситуации и последствия развития ситуаций согласно этим моделям.

Поэтому, если вы таки хотите, чтобы Вас лучше понимали как можно больше читателей - можете писать, например, просто "эгоистический интеллект". Едва ли не всякий здоровый живой организм в той или иной мере обладает им.

Тогда становится излишним понятие разум, всё можно описать с помощью наборов разных (эгоистичных, эмоциональных, рациональных и пр.) интеллектов.

Но на самом деле, все эти разные интеллекты решают задачи по самосохранению, каждый на своём уровне сообразно имеющемуся функционалу. Грубо говоря, эгоистичный – на уровне инстинктов и безусловных рефлексов, эмоциональный–  на уровне чувств, желаний и эмоциональных оценок, рациональный – на уровне целей и оценок, основанных на приобретённых знаниях. И в целом получается, что либо все интеллекты, либо их равнодействующая, должны работать на самосохранение носителя (на его адаптацию), дабы считать поведение/реакции последнего разумными. Ну, это я очень утрирую, конечно, но моё определение прекрасно подходит в качестве наиболее общего.

И, да – разум в своей основе эгоистичен, а интеллект сам по себе и не эгоистичен, и не альтруистичен – он нейтральный, если в его функционал не инсталлированы некие «закладки» и/или если в него не инсталлированы знания, определённой направленности (от простых уставок и настроек до сложных концепций и представлений).

Но даже сильно предвзятый интеллект, насыщенный функциональными «закладками» и знаниями определённой направленности, не становится автоматически разумом – он так и остаётся просто сильно предвзятым интеллектом.

[Rattus]

компания, специализирующаяся на онлайн-играх

О да - это очень материальный "продукт"! Такие "автодиректора" существуют с позапрошлого века - тогда они получили название "одноруких бандитов". А более близкий к рассматриваемой теме пример имеется? Ну там - директор Cyberdyne, Raytheon, Lockheed Martin, General Dynamics, Northrop Grumman.. - не?

Адаптивное уже более-менее равнозначно самосохранению. Поэтому, «адаптивное, направленное на самосохранение», это немножко «масло масляное».

Да. Просто это был оборот речи - дублирование синонимов в ряд для лучшего понимания-усвоения.

Интеллектуальное вовсе не равнозначно адаптивному

Безусловно - современные ИИ-системы примерно раз такие как раз. Интеллект любого молодого самоубийцы так же по итогу неадаптивен. Поэтому разумным мы его и не называем - о чём Вы ниже и пишете.

Тогда становится излишним понятие разум

А вот когда «адаптация, направленная на самосохранение», происходит с помощью интеллекта, тогда это уже проявление разумности.

Нет - ибо также мы не называем им и вполне адаптивное и довольно интеллектуальное поведение енота или серой вороны. Таким образом получается, что разум - это адаптивный ("эгоистичный") интеллект очень высокого ("околочеловеческого") уровня.

[Metatron]

А ИИ у нас конечно будет всякого контроля лишен.. Ха-ха. классная шутка.

Да тут как раз дело в том, что двигаемся к этому. Что контролировать это сверхчеловеческое существо будет просто нереально.

А поставить другой ИИ контролировать действия других ИИ - никак нельзя?

Весь этот сценарий "уничтожения из-за скрепок" - стоит на таком количестве предпосылок что я не понимаю как серьезные люди еще могут его рассматривать.

Предпосылки для выполнения этого сценария:
- ИИ должен быть настолько туп чтобы не понимать истинной цели его задания (обеспечения людей скрепками). Он понимает только буквальный приказ - производить скрепки несмотря ни на что.
- При этом ИИ одновременно сильно умнее человека - он способен избегать какого либо контроля со стороны человека. При этом он понимает что приносит людям вред - раз ему приходится скрывать свою деятельность от них.
- При этом люди должны быть настолько глупы чтобы не обеспечить никаких мер безопасности - например иметь не одного ИИ -  а нескольких. Которым например поставить задачу обнаружения действий со стороны других ИИ ставящих под угрозу существования человечества. Да хотя бы просто обнаружения действий ИИ выходяших за рамки инструкций.

[BlackMokona]

О да - это очень материальный "продукт"!  Такие "автодиректора" существуют с позапрошлого века - тогда они получили название "одноруких бандитов".  А более близкий к рассматриваемой теме пример имеется? Ну там - директор Cyberdyne, Raytheon, Lockheed Martin, General Dynamics, Northrop Grumman.. - не?

Вопрос был возможен ли вообще ген.директор ИИ, не так ли? А не то что ИИ гендиректора везде и всюду. Чем умнее будут делать, тем больше их будет.

А поставить другой ИИ контролировать действия других ИИ - никак нельзя?

Конечно можно.
ИИ бухгалтер всё проверил, все цифры в порядке, ни цента не украл наш ИИ директор завода скрепок.
Ген.директор ИИ тоже сказал всё в порядке, ИИ не сломан и продолжает делать всё возможное для выполнения цели для которой он был создан. Делать при этом максимально эффективно.

[Rattus]

Вопрос был возможен ли вообще ген.директор ИИ, не так ли?

В плане исключения для компании в сфере развлечений и в отдельных двольно небольших странах - как экзотика - ОК.
Тогда уточняем: как легально и множественно применяемое и долговременно устойчивое явление в крупнейших странах мира в компаниях, непосредственно вовлечённых в материальное производство и/или обслуживание инфраструктурно-значимых продуктов (не конфет, ювеликрки, etc.).

Весь этот сценарий "уничтожения из-за скрепок" - стоит на таком количестве предпосылок что я не понимаю как серьезные люди еще могут его рассматривать.

Насколько могу судить, серьёзные и не рассматривают. Рассматривают только всякие недоучившиеся "гуру" схоластики типа Ализера Юдковского и примкнувшие к ним адепты нанокибертехноэнтузазизма, а также эксплатирующие их внимание разношёрстные телебалаболы.

ИИ должен быть настолько туп чтобы не понимать истинной цели его задания (обеспечения людей скрепками). Он понимает только буквальный приказ - производить скрепки несмотря ни на что.

Ага - это аналог весьма жёсткого инстинкта у животных. Тот факт, что с ростом интеллекта и в отсутствие ограничений на объём мозга - как у приматов - жёсткость и количество инстинктов падает вплоть до нуля у гоминид - никаких сомнений и размышлений у адептов не зарождает.

При этом ИИ одновременно сильно умнее человека

При этом люди должны быть настолько глупы чтобы не обеспечить никаких мер безопасности

Неукоснительное соблюдение взаимоисключающих параграфов - характерный симптом исповедников Свидетелей Техносингулярности и прочих современных эсхатологических псевдорелигий.

[BlackMokona]

В плане исключения для компании в сфере развлечений и в отдельных двольно небольших странах - как экзотика - ОК.
Тогда уточняем: как легально и множественно применяемое и долговременно устойчивое явление в крупнейших странах мира в компаниях, непосредственно вовлечённых в материальное производство и/или обслуживание инфраструктурно-значимых продуктов (не конфет, ювеликрки, etc.).

Так подождём ещё парочку лет и начнётся. Пока только первые ростки. Не забываем, что весь этот прорыв в ИИ недавно стартовал. Одна компания за другой будут переходить на автоматизацию.
Вот ещё один пример перешедших.

Мика, недавно назначенный генеральным директором (CEO) польской компании по производству спиртных напитков Dictador Holdings, является первым в мире руководителем компании, созданной с использованием искусственного интеллекта (ИИ).

https://www.linkedin.com/pulse/meet-mika-worlds-first-ai-ceo-brandpublicuk-g9gae

[Rattus]

Так подождём ещё парочку лет и начнётся. Пока только первые ростки. Не забываем, что весь этот прорыв в ИИ недавно стартовал. Одна компания за другой будут переходить на автоматизацию.

Эх, какой потом будет громкий "Хлоп!" - когда эдакий перегрев в очередной раз столкнётся с очередным афедрончикомЪ реальной экономики - может даже почище доткомов - со стайками выпархивающих из окон белых воротничков, десятками дел о мошенничестве...

Мика, недавно назначенный генеральным директором (CEO) польской компании по производству спиртных напитков Dictador Holdings, является первым в мире руководителем компании, созданной с использованием искусственного интеллекта (ИИ).

Во-во: онлайн-казино, крепкий алкоголь - всё очень нужные обществу и цивилизации продукты. Замечательные, показательные примеры.

(кликните для показа/скрытия)

Вон например один часто обсуждаемый бизнесмен купил власти, чтобы не мешали ему пускать ракеты.

Вот уж правда: если в этой самой стране вдруг внезапно и заработает этотваш самобраночный корпоративный скайнет, то можно будет порадоваться, что проживаешь в иной части деглобализирующейся ойкумены (особенно если подальше от внешней границы, крупных военных объектов и - на всякий случай - мегаполисов).
"Спасибо товарищу Владимиру Вольфовичу Тр-мпу за своевременную спасительную от страшслых корпоративных ИИ-макcимайзеров деглобализацию - от обитателей провинций "второго" и "третьего" миров!"
Polnoch Ксю, ви там репатриироваться ещё не возжелали, часомъ, в свете изложенного? Тут уже тоже хорошо: может быть и придётся делать два раза ку господину ПЖ за миска рис, зато весь ВАш гемоглобин не пустят на скрепки - только поллитра и "добровольно" - для переливания пострадавшим Защитникам.

Похоже, что х/ф Колобаха таким образом стремительно обратится в реальность с обоих сторон...

[BlackMokona]

Эх, какой потом будет громкий "Хлоп!" - когда эдакий перегрев в очередной раз столкнётся с очередным афедрончикомЪ реальной экономики - может даже почище доткомов - со стайками выпахивающих из окон белых воротничков, десятками дел о мошенничестве...

Будет как раз мотив поторопится с автоматизацией и оптимизаций. Всё же даже самый прожорливый ГПТ, кушает намного меньше чем Гендир человек. А пока можно не торопится с модернизацией, да смотреть как конкуренты шишки набивают во внедрении.

[Инопланетянин]

Вопрос был возможен ли вообще ген.директор ИИ, не так ли?

Поскольку настоящий сильный ИИ до сих пор не создан, этот ИИ физически не может выполнять функции гендира и за него это делают люди им управляющие. Почему власти Гонконга позволяют им держать такого зиц-председателя дело тёмное. Там наверняка какие-то махинации и взятки. Копать надо, но мне сейчас недосуг. Вы хотите сказать, что и сильный ИИ так же сможет? Навряд ли. Кэмерон с терминатором и неисчислимое множество других авторов ужастиков на эту тему надёжно исключили такой вариант. Но даже если и сможет, то только в рамках каких-то тёмных дел и под контролем, если не правительства, то мафии. Вряд ли ему преступники дадут больше свободы.