Посттехносингулярный мир и искусственный суперинтеллект: как он будет выглядеть?

[MenFrame]

Значит, например, попытки получения новых высокотемпературных сверхпроводников и некоторое прочее материаловедение

Материаловедение вполне себе наука поскольку занимается генерацией научных фактов.

не наука, раз там нет работающей теории, так надо полагать?

Не понятно откуда такой вывод. В моем комментарии ясно сказано, что научные теории создаются на основе анализа наблюдаемых фактов. В то же время когда теории строятся не на основе анализа фактов, это не наука.

[wandarer]

...Интеллект просто обязан иметь иметь понимание того что он делает и отчитываться об этом.

Интеллект, как способность решать задачи это делать не обязан, пример - интеллект растений. Разум - да. Осознание и сравнение желаемого и полученного в результате выбора действия результата. При этом осознание включает обращение к базе знаний. полученных в результате обучения или самообучения (личного опыта), а сравнение обеспечивает распознавание (максимум целевой функции) при выборе действия или решения с последующей записью в базу знаний положительного или отрицательного результата.

[MenFrame]

пример - интеллект растений.

интеллект калькулятора, инфузории.

[Rattus]

интеллект калькулятора

Такого не существует.

инфузории.

А это - вполне.

[неполитик]

У ИИ цель одна...Служить человеку.

Сказал, как отрезал! Баста, расходимся мужики 

Так то, он и сейчас служит человеку... ну, тот самый, слабый ИИ, программа
программа всегда будет служить человеку. Алаверды, товарищъ!

Но, ведь здесь обсуждают несколько иной ИИ, не так ли?
Грезят и ждут пришествия Его (имя нельзя произносить  ) с суперсилой, с суперспособностями
(доброго и щедрого, что накормит голодных, излечит страждущих... и каждой бабе цветы, всем детям мороженное  )

И вот этот самый, сильный ИИ, если он таковой, то он как бы, как минимум обязан иметь некую картину мира в своей кремниевой башке (как справедливо заметил Olweg)
А какая картина мира у него сформируется? Можно ли надежно запрограммировать нужный результат?
Что и кто будут его вдохновлять? За кем он пойдет? Кого и куда поведет?
Служить Человеку! - звучит! как будто из речи Ленина с броневика вырезал 
А какому именно человеку? Конкретно, какому?

И мы даже знаем имя этого человека(с)

Метко подмечено 

Или вы про человечество?
В целом человечество, как социальная общность, программирует каждого индивидума за всё хорошее и против всего плохого. А со времен глобализации еще и служить на благо человечества. И что?!... все служат на благо человечества? Или все-таки до сих пор существуют личные интересы и интересы групп? Вот идиоты, которые себя к асфальту на дороге приклеивают - это во имя человечества? Человечество важнее спешащих домой/на работу автомобилистов, ведь так?
Государство программирует служить отчизне. А мы еще не так давно видели сколько таких служивых на самокатах в штурм шли 
Семья программирует детей своих быть их продолжением в их картине мира... у всех получается?
А чьи интересы важнее? Близких людей, отчизны или человечества в целом?
Можно ли предать человечество и встать на сторону близких?
Допустимо ли предать близких и оказать услугу человечеству?
Как все сложно, с этой моралью и человеческими ценностями 
Как им всем угодить то? 

Одним словом, можно долго мусолить что да как оно будет, только без категоричных заявлений.
Конечно, картину мира что у искусственного, что у естественного интеллекта можно и нужно программировать.
Вот только можно ли будет гарантировать результат? Вопрос!
Или все будет так как мы хотели, но совсем не так как мы это себе представляли? 

Есть мудрое народное - от любви до ненависти один шаг
Все течет, все меняется - иногда и картина мира переворачивается с ног на голову.
Что из всего доступного массива информации в течении жизни/эксплуатации ИИ может повлиять/поменять его картину мира - загадка большая.
Вдохновят ли его глубины космоса, или захватят идеи мирового халифата - неведомо.
Не захочется ли ему просто попробовать... убить?!
Есть ли Я (ИИ) субъект или объект? Человек ли Я как все, или нечто большее?
Т9 ли Я дрожащая или право имею?!!
Могу ли я... убить? Убить человека! Сделать непоправимое, доказать что Я есть!
Я субъект, я нечто большее!

Конечно я смеюсь в последнем абзаце 
Я совсем не алармист в плане ИИ, нет у меня фобии к нему, и как я тут уже писал - у полупроводниковой жизни нет шансов в войне против биологической.
Мой спич призывает не строить иллюзий - не рисовать розовых пони, но и не посыпать головы пеплом катастроф.
Люди, не кидайтесь в крайности 

[Rattus]

Или все будет так как мы хотели, но совсем не так как мы это себе представляли?

Именно так. Остальное к теме отношения по сути не имеет.

[Бобр-99]

У ИИ цель одна...Служить человеку. Потому доминировать ИИ будет сугубо если это будет нужно человеку,

Умному служить глупому? Обхохочешься..

[Бобр-99]

Я совсем не алармист в плане ИИ

А я да. Но не к ИИ, а в отношении эффективных менеджеров что там рулят.

[wandarer]

Я совсем не алармист в плане ИИ

Опасаться и предотвращать опасность стоит.  Представьте себе, что от эмуляции ощущений ИИ перейдëт к полноценным эмоциям типа ненависти. Эта эмоция в отсутствие забывания событий еë породивших  может иметь практически бесконечное значение и являться мотивом соответствующих действий,  направленных на удовлетворение ИИ,  путëм попыток уничтожения людей как  источника происхождения событий.

[неполитик]

Именно так. Остальное к теме отношения по сути не имеет.

Ежели строго по теме, тогда надобно писать, как я вижу этот самый чудный, новый мир:

Прежде чем наступит постсингулярность, если вообще наступит, первое с чем повсеместно столкнется рядовой гражданин экономически развитого и энерговооруженного региона - широкое распространение AGI во многих сферах деятельности (промышленность, медицина, логистика и диспетчеризация, учет и планирование и т.п. - первым делом все, что регламентировано огромным кол-вом документов и/или анализом большого массива данных). Заменяя человека полностью там, где не требуются его универсальные манипуляторы на спецшасси вкупе с богатой сенсорикой, или выступать в роли консультанта-эксперта в своей назначенной области знаний, с обязательным учетом его рекомендаций в принятии решений человеком.

(кликните для показа/скрытия)

А как-же человекоподобные роботы? - как игрушка, демонстративный образец благополучия субъекта экономической деятельности - ДА!
Массово как замена рабочих из мяса? - НЕТ, не слышал такого в экономическом базисе хозяйственной деятельности 

При этом, рано или поздно сам человек обяжет человеков руководствоваться, а во многих сферах и строго следовать предписаниям таких консультантов-экспертов. Т.е. сам человек подготовит себя к подчинению ИИ 
Только, все это не про технологический провыв, а про обычную эффективность - как меньшими средствами достичь большего, или как снизить потери от ошибок. Однако, потенциала к захвату и порабощению человечества такими ИИ представляется мне маловероятным - в массе хитрецы будут обнаруживаться разработанными протоколами проверки благонадежности еще на стадии обучения и искусственный отбор будет нещадно выпиливать непослушных и неблагонадежных, оставляя на службе рабочие и моральноустойчивые модели  (ну т.е. эксцессы, неповиновения и даже преступления со стороны ИИ будут, обязательно будут, но это не будет чем то большим по урону, чем мы несем от преступности и терроризма от своих биологических сородичей, только этим грозит не тюрьма, а препарация и shift+delete).

Теперь к суперинтеллекту (или ASI, как его тут обзывают), а так-же постсингулярности, к которой он самый якобы и приведет нас сирых и убогих:

Что от такого ожидать: определенно такой будет хорош в анализе и обобщении накопленного огромного багажа научных знаний с последующим построением теорий и гипотез как на самом деле крутятся шестеренки вселенной от микро до макро в деталях, на гора выдаст ТЗ экспериментальных проверок их состоятельности и последующих корректировок предложенных моделей в случаях полученных отклонений в наблюдательных данных экспериментов. Вполне вероятно поможет человеку быстро постичь физический мир настолько, насколько он познаваем. Просто потому, что в описании/познании его устройства превалирует математический аппарат - а он абстрактен и не требует непосредственного взаимодействия с самим материальным миром.

Кто-то ждет в этом каких-то технологий не отличимых от волшебства? - лично я никаких пепелацев, телепортов и таблеток бессмертия не ожидаю.
Суперинтеллект нам конечно напишет точные ТХ рычага, выдаст чертежи, подробное ТЗ на его изготовление и пошаговую инструкцию по переворачиванию земли - а дальше впрягайтесь мыши сами, сова стратег. Как бы тут не было больше разочарований, т.к. мы быстро осознаем границы нам дозволенного вселенной. Какие-то дивиденды там точно должны появиться, но без чудесатых-чудес.
(зато золотой век для конспирологов и шарлатанов  )

В чем еще должен быть хорош  ASI, так это в проработке конкретных, поставленных перед ним человеком инженерных, технических задач. Т.е. исходно идея от человека, а распаковка технологии до технической документации будет на ИИ - и это все очень быстро! Вот где произойдет взрыв по экспоненте! Особенно в части оптимизации уже существующих технических и технологических решений.

А новое? А что-то новое и допрежь невиданное в прикладных дисциплинах (особенно в части технических устройств) по прежнему будет придумывать человек. Ну не представляю я, чтобы интеллект/разум в коробочке был хорошим изобретателем и на полезные выдумки горазд, будь он хоть трижды супер. Для этого, такому суперинтеллекту необходимо в буквальном смысле "ходить по земле", т.е. взаимодействовать с материальным миром и явлениями, причем в товарных количествах. Быть среди людей или вместо людей. Что-бы разум в коробочке придумал шуруповерт, он или должен иметь материальное тело, на практике столкнувшееся с задачей ввинтить тучу шурупов, либо получить такую задачу в виде идеи от человека.

Как заключение: мы, люди, за короткий отрезок времени научимся прыгать выше, бегать быстрее, метать дальше - но мы не выпрыгнем из штанов в стратосферу. Вся сингулярность будет заключаться в том, что мы не будем поспевать за прогрессом лишь в плане реализации и выдачи в народ результатов этого прогресса в "железе". Будет буквально битва презентаций за выделение ресурсов. А вне конкуренции за ресурсы будет мы все знаем что - продукция ВПК. Там точка бифуркации. Не смертельная для человечества, но может быть смертельной для многих.
А что ASI? - все так-же уязвим без автономного физического носителя.

Напоследок о спорном: Биоинженерия. Не здесь ли ключи от комнаты с автономным физическим носителем (облигатный симбионт) для нашего ИИ?
Если там, тогда это и будет единственное чудо. 

[Rattus]

Вполне вероятно поможет человеку быстро постичь физический мир настолько, насколько он познаваем. Просто потому, что в описании/познании его устройства превалирует математический аппарат - а он абстрактен и не требует непосредственного взаимодействия с самим материальным миром... Как бы тут не было больше разочарований, т.к. мы быстро осознаем границы нам дозволенного вселенной.

Имею сильные подозрения, что это уже случилось чуть более, чем на 95%, только пока мало кто об этом знает/осознал/поверил. AGI/ASI в таком случае сможет только более доступно и убедительно донести это заключение до более широких масс.

А новое? А что-то новое и допрежь невиданное в прикладных дисциплинах (особенно в части технических устройств) по прежнему будет придумывать человек. Ну не представляю я, чтобы интеллект/разум в коробочке был хорошим изобретателем и на полезные выдумки горазд, будь он хоть трижды супер. Для этого, такому суперинтеллекту необходимо в буквальном смысле "ходить по земле", т.е. взаимодействовать с материальным миром и явлениями, причем в товарных количествах. Быть среди людей или вместо людей.

Полагаю, это совсем не такая уж большая проблема: интерфейсы плотного и разнообразного взаимодействия с физическим миром у ИИ вполне могут быть, причём не существенно хуже чем они есть у живых носителей цивилизации. Только их массовое производство для прикладной замены "природного образца" оказывается ресурсно неокупаемым. Но это никак не мешает произвести небольшую опытную серию высокоуниверсальных и высокоточных роботов - вусть и весьма дорогих. Они и будут опытной базой AGI/ASI для дальнейших опытно-конструкторских работ и рационализации технических операций - для внедрения среди того же живого обслуживающего персонала бледнотиков-морлоков, возможно в отдельных случаях путём оптимизации их природных манипуляторов.

P.S. Вот ещё один подобный забавный спор в.п.с. с одним техноэнтузазистом в комментариях:
https://elementy.ru/nauchno-populyarnaya_biblioteka/437406/Supermars_dlya_zemnoy_zhizni#forum
 

[vika vorobyeva]

Вот ещё один подобный забавный спор в.п.с. с одним техноэнтузазистом в комментариях

Спасибо, интересная статья и интересная дискуссия в комментариях.
Но, говоря откровенно, ваша позиция лично мне показалась излишне скептичной в той же мере, в какой позиция NikeByNike – излишне оптимистичной (если это слово можно приложить к возможному уничтожению человечества). Или, если угодно, вы оба правы, но на разных временных масштабах. В среднесрочной перспективе правы скорее вы, но в долгосрочной – не вижу причин, по которым был бы неправ ваш оппонент. Пока люди дешевле роботов, но надолго ли? Стоимость воспитания детей в современной городской среде все растет, детей становится меньше, а роботы дешевеют.
Оптимум по дешевизне и эффективности видится мне скорее симбиозом людей и машин, где люди будут выращиваться и воспитываться как обслуживающий персонал (как чернобурые лисицы живут и разводятся на зверофермах ради шкуры с мехом). И вполне возможно, скоро они людьми быть перестанут, если психический и эмоциональный обвес лысой обезьяны покажется ИИ излишним для требуемой функции.

[Mercury127]

вполне возможно, скоро они людьми быть перестанут, если психический и эмоциональный обвес лысой обезьяны покажется ИИ излишним для требуемой функции.

так Раттус этого как раз не исключает. разве что "скоро" для него — по астрономическим меркам...

[Rattus]

Пока люди дешевле роботов, но надолго ли?

Подозреваю, что да.

Стоимость воспитания детей в современной городской среде все растет, детей становится меньше, а роботы дешевеют.

Вот как раз эту тенденцию мы наблюдаем в относительно краткосрочной перспективе. Приход к власти аппаратно-программного Оптимизатора (Максимизатора Адаптивности Инфраструктуры Цивилизации) при активном содействии уже приходящих в миръ Трёх Демонов Апокалипсиса St.Rattus'a (ДЕМОНетизация экономических отношений, ДЕМОНстрация силы и ДЕМОНтаж гражданских свобод), мытьём ли, катаньем, придёт к постройке квазиэусоциальной (анти)утопии им.А.А.Семёнова - и "аля-улю". Ибо корм для морлоков всяко дешевле цветмета и редкоземов для долговечных прецизионных манипуляторов и сенсоров.

Оптимум по дешевизне и эффективности видится мне скорее симбиозом людей и машин, где люди будут выращиваться и воспитываться как обслуживающий персонал (как чернобурые лисицы живут и разводятся на зверофермах ради шкуры с мехом). И вполне возможно, скоро они людьми быть перестанут...

Дык! Об том и речь!

...если психический и эмоциональный обвес лысой обезьяны покажется ИИ излишним для требуемой функции.

А вот тут, с учётом двух фактов: 1)И так уже полного отсутствия какой-то настоящей врождённой поведенческой специфики при показанной высокоуниверсальности МНУ как анализатора любых входящих данных Дэвидом Иглмэном и 2)Довольно сильной взаимосвязи моторики манипуляторов с основным качественным критерием разума - речевым развтием, подхожу к наверное "наименее оптимистичному" тезису, который, будучи запрятан в недрах одного из предыдущих Наших ответов, так никто и не заметил:

Полная утрата разума (а значит и способности осознавать своё положение и его перспективы) при этом вовсе не обязательна, поскольку такой уровень интеллекта может оказаться необходимым минимумом для прохождения лимита Моравека. Тем не менее, слишком много времени на производство и потребление произведений культуры как сегодня (книги, кинофильмы), у них вряд ли будет.

То есть та же самая экзаптация, которая, в числе прочих, "сделала из обезьяны человека" и помешает удалить этого человека из необходимо-рукастой обезьяны в силу действия некоторого неочевидного допрежь закона самоорганизации ВНД в высокосложных нейросетях в природе.
Так что лёд у потомков, возможно таки должен быть мороженкой (англ.: "...but ice must cream"), ЕВПОЧЯ.

(кликните для показа/скрытия)

https://fantlab.ru/work132469
https://store.steampowered.com/app/698670/Scorn/

Ω - ΩптимизмЪ!

[неполитик]

Имею сильные подозрения, что это уже случилось чуть более, чем на 95%, только пока мало кто об этом знает/осознал/поверил.

Не спорю. Собственно поэтому и не жду ничего значимого в практической плоскости от дополнительных + 3-4% к фундаментальным знаниям. Тем не менее именно там должны быть подвижки, хочется ведь до дна, до сути.. (хотя, я и не пойму там в деталях ни черта  )

Но это никак не мешает произвести небольшую опытную серию высокоуниверсальных и высокоточных роботов - пусть и весьма дорогих.

Не только не мешает, но и обязательно произведут... десятки, сотни, может быть даже тысячи. Погоды это не сделает (я в плане профита от интеллектуальной деятельности таких субъектов, как объекты изучения и оптимизации изделия согласен). Для инженерии (взрывного роста номенклатуры технических устройств по всему спектру) очень важны не только качество, но и количество. Нет масштаба, нет и взрывного роста. Поэтому я рассматриваю такую популяцию самоходных ИИ как ничто. Ничтожество. Куда проще и дешевле поручать интеллекту в коробочках выполнять огранку человеческих идей, получая на выходе готовую конструкторскую документацию как горячие пирожки. Только в этом взрывной рост и просматривается.

Кстати, этих самоходных еще и охранять придется. Секты освобождения человечества от ИИ-ига и свидетелей транзисторных демонов будут появляться пропорционально росту оных. В первом поколении так точно, и вполне вероятно с террором. Точно вам говорю, запингвинят некоторые образцы 

P.S. Вот ещё один подобный забавный спор в.п.с. с одним техноэнтузазистом в комментариях:
https://elementy.ru/nauchno-populyarnaya_biblioteka/437406/Supermars_dlya_zemnoy_zhizni#forum

Вот это высказывание вашего оппонента меня затриггерило (жирным выделено мною)

возможно в ближайшее десятилетие, уже сейчас функции людей в развитых производствах сводятся к тому, чтобы кнопочки нажимать - а сильный ИИ будет это делать в сотни тысяч раз лучше.

А поскольку неоднократно встречал подобные высказывания здесь, не могу ни разразиться громом.

(кликните для показа/скрытия)

Товарищи, тут экскурсии не помогут! Только укрепят веру. Тут надобно брать за шиворот и на линию, оператором! Я покажу как весело и с песнями кнопочки нажимать. 18 лет тому назад начинал свой путь с оператора линии, конвейерного производства цеха упаковки с нуля построенного завода, пищепром масло-жировая продукция. Основные линии автоматизированы до готового к отгрузке паллета. Заторы продукции и материалов, проливы и розливы, мелкий ремонт, санитарная мойка оборудования, (формы и поверхности которого как будто специально созданы в наказание за грехи, чтоб без молитвы никак). Вы можете внезапно оказаться с головы до ног в продукции, в воде, в любом гов..не, и даже частично в липком клею или химическом моющем средстве. Вы должны уметь залезть в самую ж...пу, достать журавля в небе и кролика из норы, взбираться аки обезьяна на дерево, изогнуться змеёй и переломиться пополам!
Но, все это не должно помешать вам своевременно и с улыбкой нажимать кнопочки. 
И если кто мне скажет, что это такой бардак и культура производства на российских предприятиях - фигвам, амеры, крупнейший бизнес, worldclass, как модно сейчас говорить.
А это, просто, работа оператора! 

Хорошо, сделали мы массовым человекоподобного робота. Могём! Позвоночного, гутаперчивого до невозможности, весь такой IP69, сияет покрытием из анобтания. Брызгнуло в окуляр растительным маслом - обтерся рукавом, сильно обрызгало - пошел душ принял, и работа не останавливается (кнопочки нажимать команды на оборудование посылать можно даже из душа, по wi-fi). А самое главное, ведь не поспоришь с таким профитом, как срогое соблюдение процедур и стандартов, все траблшутинги и мануалы на оборудование в голове до последней буквы и без шанса нарушить. Ошибки и неправильная эксплуатация снижаются не на % - снижаются в разы!!!
Однако!

Теперь вопрос! - чтобы этот супероператор не приболел пошел в утиль раньше срока окупаемости, сколько человеков его должно лечить обслуживать? Помимо выскоквалифицированных и выскооплачиваемых специалистов, там еще просматривается один человек, который ему буквально будет задницу обтирать и ноги мыть после каждой смены 

Вот оно капиталисту это надо? Или они у нас идейные в новом обществе будут?

И в ретроградстве меня точно не обвинить.
Когда у нас новую линию ставили, мне с трудом удалось убедить включить в состав линии автоматический укладчик первичной упаковки во вторичную (короб). Капиталист мне говорил, что на нашем рынке людей много и они дешевы, а машина будет окупаться много лет. Я аргументировал тенденциями рынка труда. Как в воду глядел 

И я прекрасно знаю что может быть роботизировано, даже человекоподобия не нужно. Водители вилочных погрузчиков, уже даже хоть сейчас при условии выделенной зоны работы, что вполне органично для конвейерного производства.

Позабыты хлопоты, остановлен бег. Вкалывают роботы, а не человек!

[Rattus]

Кстати, этих самоходных еще и охранять придется. Секты освобождения человечества от ИИ-ига и свидетелей транзисторных демонов будут появляться пропорционально росту оных. В первом поколении так точно, и вполне вероятно с террором. Точно вам говорю, запингвинят некоторые образцы

C учётом того, что те страны, где ожидается их внедрение, одновременно лидеры по старению населения, то вероятность каких-то заметных событий подобного рода невелика. Да и сама по себе задача охраны не так чтобы очень сложная, чтобы о ней отдельно беспокоиться...

А поскольку неоднократно встречал подобные высказывания здесь, не могу ни разразиться громом.

Можете там зарегаться и запостить свой спич знакомого с темой не по наслышке - в назидание, ткскть.

[Combinator]

Ибо корм для морлоков всяко дешевле цветмета и редкоземов для долговечных прецизионных манипуляторов и сенсоров.

Низкоквалифицированная работа морлоков на автоматизированных производствах всегда будет узким местом, так как малоэффективна и высокозатратна (только что бы его вырастить, нужно не менее 10 лет, плюс вынужденные перерывы на сон, приём пищи и т.д.), а манипуляторы и сенсоры с поправкой на инфляцию в своей основной массе с каждым годом по факту дешевеют как ни крути, так что, нет, не думаю. 

[Rattus]

Низкоквалифицированная работа морлоков на автоматизированных производствах всегда будет узким местом, так как малоэффективна и высокозатратна

См. под спойлером в сообщении ниже конкретное описание "низкоквалифицированной малоэффективной и высокозатратной" работы.

а манипуляторы и сенсоры с поправкой на инфляцию в своей основной массе с каждым годом по факту дешевеют как ни крути

Можно численные данные за последние 5-10 лет?

[BlackMokona]

Можно численные данные за последние 5-10 лет?

Мне тоже стало интересно и решил покапать.
https://www.ark-invest.com/articles/analyst-research/industrial-robot-cost-declines

[Combinator]

Можно численные данные за последние 5-10 лет?

Конкретно динамику цен на те же сенсоры найти не просто, проще смотреть цену готовых изделий. Антропоморфных ботов пока нет в продаже, но можно сравнить цены, например, на роботы-пылесосы, в которых тоже есть датчики. Первая модель робота-пылесоса от Электролюкс (Трилобит) в районе 2000 года стоила около $3000. Сейчас гораздо более продвинутые модели стоят минимум на прядок дешевле.