Посттехносингулярный мир и искусственный суперинтеллект: как он будет выглядеть?

[AlexDark]

Даёшь высотку за сутки. А это ещё люди со всеми их бедами и задержками синхронизации.   

Про усадку грунта, время твердения бетона и его усадку, про трещины и перекосы - об этом можно забыть, ибо покупатели предъявить за подобные "мелочи" не смогут, а если смогут - получат по башке. Увы, но нежелание признавать ограничения - одна из проблем современности.

[BlackMokona]

Про усадку грунта, время твердения бетона и его усадку, про трещины и перекосы - об этом можно забыть, ибо покупатели предъявить за подобные "мелочи" не смогут, а если смогут - получат по башке. Увы, но нежелание признавать ограничения - одна из проблем современности.

Нежелание признавать крайнею неэффективность большинства процессов и издержек управления это стандартная беда.
Например тот же Дата центр крупный. Тот же глава Нвидия у которого огромный опыт, указывал что быстрее года никак нельзя. Однако один умник сделал за 19 дней, начиная с постройки здания, заканчивая запуском в работу. Поэтому как когда надо всё резко ускоряется. А теперь представим, что каждой рабочей единицей, будет кто-то намного умнее и быстрее нашего умника.

[Metatron]

Пример - Открытие новых знаний.

Суперинтеллект - конечно придумает как что-то должно работать - и предьявит расчеты.
Вот только придется ставить научный эксперимент для подтверждения что именно так все и работает.
Придется собирать установку - пусть даже это роботы сделают - но это все равно займет время. От дней до многих месяцев.

С лекарствами все еще хуже. Эксперименты по проверки лекарств займут годы.

[AlexDark]

один умник сделал за 19 дней

Только вот гораздо чаще это заканчивается так https://www.youtube.com/watch?v=gSpjDi2BrQk

Ну и если использовать это определение

В крайне быстром и эффективном решением различных интеллектуальных задач. Недоступных уровню человека.

то вся разница между супер-интеллектом и обычным только в скорости. Никакого качественного скачка он не даст (можно заменить его Н-ным количеством инженеров) и все эсхатологические страшилки/надежды теряют смысл, т.к. конец света из-за накопления критического числа инженеров в НИИ никто не предсказывал.

[BlackMokona]

Пример - Открытие новых знаний.

Суперинтеллект - конечно придумает как что-то должно работать - и предьявит расчеты.
Вот только придется ставить научный эксперимент для подтверждения что именно так все и работает.
Придется собирать установку - пусть даже это роботы сделают - но это все равно займет время. От дней до многих месяцев.

С лекарствами все еще хуже. Эксперименты по проверки лекарств займут годы.

Например ИИ уже сильно помогает с лекарствами.
А административные возможности ИИ позволят намного быстрее организовывать эксперементы.
Научные возможности позволят намного дальше продвинутся в моделировании. И тд

[BlackMokona]

Только вот гораздо чаще это заканчивается так

Потому как шибко умные редкость, а тут можно будет иметь сколько угодно. ИИ же.

то вся разница между супер-интеллектом и обычным только в скорости. Никакого качественного скачка он не даст (можно заменить его Н-ным количеством инженеров) и все эсхатологические страшилки/надежды теряют смысл, т.к. конец света из-за накопления критического числа инженеров в НИИ никто не предсказывал.

Количество переходит в качество.
При этом могут быть и сразу революционные прорывы в интеллекте . Просто фантастику не трогаю. Только то что уже очевидно будет достигнуто уже на текущим уровне развития.

[Olweg]

По поводу клинических испытаний я в этой теме приводил мнение Дарио Амодеи, главы Anthropic (у него в том числе медицинское образование):

А как насчет клинических испытаний? Хотя с ними связано много бюрократии и замедления, правда в том, что большая часть (хотя далеко не вся!) их замедления в конечном итоге проистекает из необходимости строго оценивать препараты, которые едва работают или работают неоднозначно. К сожалению, это относится к большинству современных методов лечения: среднестатистический препарат от рака увеличивает выживаемость на несколько месяцев, при этом имея существенные побочные эффекты, которые необходимо тщательно измерять (похожая история и с препаратами от болезни Альцгеймера). Это приводит к огромным исследованиям (для достижения статистической мощности) и сложным компромиссам, в которых регулирующие органы обычно не очень хороши, опять же из-за бюрократии и сложности конкурирующих интересов.

Когда что-то работает действительно хорошо, оно работает намного быстрее: есть ускоренный путь одобрения, и простота одобрения намного выше, когда размеры эффекта больше. мРНК-вакцины от COVID были одобрены за 9 месяцев — намного быстрее обычного темпа. Тем не менее, даже в этих условиях клинические испытания все еще слишком медленные — мРНК-вакцины, возможно, должны были быть одобрены примерно за 2 месяца. Но такие задержки (~1 год от начала до конца для препарата) в сочетании с массивной параллелизацией и необходимостью некоторой, но не слишком большой итерации («несколько попыток») вполне совместимы с радикальной трансформацией за 5–10 лет. Еще более оптимистично, возможно, что биологическая наука с поддержкой ИИ снизит необходимость итерации в клинических испытаниях за счет разработки лучших экспериментальных моделей животных и клеток (или даже симуляций), которые точнее предсказывают, что произойдет у людей. Это будет особенно важно при разработке препаратов против процесса старения, который длится десятилетиями и где нам нужен более быстрый цикл итерации.

[Trend]

В фильмах это реализовано в виде чистой магии (т.е смены физической реальности волей субъекта), в объективной реальности это очевидно невозможно. Так в чем "супер" и вообще есть ли оно?

В фильме "Области тьмы" без всякой магии эффектно показали. Один из любимых фильмов.

[Trend]

Когда что-то работает действительно хорошо, оно работает намного быстрее: есть ускоренный путь одобрения, и простота одобрения намного выше, когда размеры эффекта больше. мРНК-вакцины от COVID были одобрены за 9 месяцев — намного быстрее обычного темпа. Тем не менее, даже в этих условиях клинические испытания все еще слишком медленные — мРНК-вакцины, возможно, должны были быть одобрены примерно за 2 месяца.

Breezula, например, себя хорошо показала, а испытания уже много лет идут и еще неизвестно, когда завершатся.

[AlexDark]

В фильме "Области тьмы"

Это тот фильм, где супер-интеллект не мог предусмотреть того, что за ним придет мафия, у которой он взял деньги? И тот. где человек почему-то печатает на компе с бешеной скоростью, только вот интеллект на двигательные навыки не влияет. А так да, особо явной магии нет, она там так, по чуть.

Ну и ускорение бюрократических процедур с интеллектом тоже не соотносится никак - их можно вообще все убрать.

И тут возникает второй вопрос - кто будет нести ответственность за неправильные/опасные/катастрофические решения/действия, принятые ИИ?

[vika vorobyeva]

Мне кажется, сильный ИИ будет хорош в решении задач высокой комбинаторной сложности. В том числе в интригах-многоходовках и всяческой социальной инженерии. Человеческие хитроумные планы часто идут не туда и не так, потому что нашим обезьяньим мозгам трудно учесть слишком много деталей и красиво сплести слишком много нитей. А у сильного ИИ такого ограничения не будет. Сильный ИИ может иметь досье буквально на каждого человека и знать, за какие ниточки дергать, чтобы получить нужную реакцию. Это может быть изощренная реклама, умелая пропаганда, взращивающая фанатиков, еле заметное управление случайностями, приводящее человека в нужное место в нужное время (например, организация его знакомства с другим человеком противоположного пола, если ИИ решит, что от этих двух людей будет многообещающее потомство, или наоборот, организация несчастного случая, если человека нужно устранить). По сути это может быть удушающая тирания, но она не будет восприниматься таковой, разве что самыми прозорливыми из людей.
Владея навыками социальной инженерии, сильный ИИ может значительно сократить количество ресурсов, идущих на потребление людьми, но избежать социального взрыва или даже ползучего саботажа.

[Combinator]

Мне кажется, сильный ИИ будет хорош в решении задач высокой комбинаторной сложности. В том числе в интригах-многоходовках и всяческой социальной инженерии. Человеческие хитроумные планы часто идут не туда и не так, потому что нашим обезьяньим мозгам трудно учесть слишком много деталей и красиво сплести слишком много нитей. А у сильного ИИ такого ограничения не будет. Сильный ИИ может иметь досье буквально на каждого человека и знать, за какие ниточки дергать, чтобы получить нужную реакцию. Это может быть изощренная реклама, умелая пропаганда, взращивающая фанатиков, еле заметное управление случайностями, приводящее человека в нужное место в нужное время (например, организация его знакомства с другим человеком противоположного пола, если ИИ решит, что от этих двух людей будет многообещающее потомство, или наоборот, организация несчастного случая, если человека нужно устранить). По сути это может быть удушающая тирания, но она не будет восприниматься таковой, разве что самыми прозорливыми из людей.
Владея навыками социальной инженерии, сильный ИИ может значительно сократить количество ресурсов, идущих на потребление людьми, но избежать социального взрыва или даже ползучего саботажа.

Всё уже давно описано до нас.
Отрывок из статьи М.Сухарева, написанной ещё в 2000 (!) году:
===============================================
...Одним из таких событий был разговор с изобретателем и писателем Рэем Курцвейлом (Ray Kurzweil) на одной из конференций. Курцвейл дал Джою прочитать препринт своей новой книги "Эра одушевленных машин", готовящейся к печати. Один из фрагментов - цитата, принадлежащая, как потом оказалось, Теодору Качинскому (Theodore Kaczynski) , известному, как Unabomber, который организовал серию взрывов в США, - привлекла внимание Джоя. Качинский строил свою аргументацию, как Евклид строил свою геометрию - теорема за теоремой. Предположим, пишет он, что компьютерщики достигнут успеха в создании роботов, способных выполнять все, что делают люди, но лучше их. Далее возникает два варианта поведения - либо отдать все на усмотрение роботов, либо сохранить контроль за собой. Если отдать все на усмотрение роботов, то будущее человечества окажется на их милости. Весьма скоро люди перестанут вообще понимать смысл происходящего, поскольку сложность процессов будет быстро расти. Если же люди решат сохранить за собой контроль над компьютерами, то в руках рядового человека окажется управление какими-то маленькими киберсистемами - дом, машина, РС. В руках же тончайшего слоя элиты останется - так же, как и сейчас - контроль над колоссальными системами управления корпорациями и государством. Возможности этого слоя по управлению обществом станут почти безграничными - причем по управлению, незаметному для самого общества. Элита управляла обществом и раньше, однако при этом появится очень важное новое обстоятельство - рядовые жители будут больше не нужны экономике. Производство, наконец, освободится от зависимости от живых людей. Если элита окажется жестока - то она просто уничтожит ненужный балласт; если же элита будет "гуманна" - сделает из них избалованных домашних животных, которых кормят роботы и следят за тем, психику подопечных ничто не тревожило.

[ivanij]

Сильный ИИ может иметь досье буквально на каждого человека и знать, за какие ниточки дергать, чтобы получить нужную реакцию. Это может быть изощренная реклама, умелая пропаганда, взращивающая фанатиков, еле заметное управление случайностями, приводящее человека в нужное место в нужное время (например, организация его знакомства с другим человеком противоположного пола, если ИИ решит, что от этих двух людей будет многообещающее потомство, или наоборот, организация несчастного случая, если человека нужно устранить).

 Да...В таком мире мне жить не хотелось бы.

По сути это может быть удушающая тирания, но она не будет восприниматься таковой, разве что самыми прозорливыми из людей.

Очень хорошо. Этими словами вы опровергли всё, написанное вами выше

[alex_semenov]

По сути это может быть удушающая тирания, но она не будет восприниматься таковой, разве что самыми прозорливыми из людей.

Если никто не воспринимает тиранию как титранию, является ли это ФАКТИЧЕСКИ тиранией?
Я с омрзением отношусь к либеральной "повесточке" и массовому сознанию погружённому в этот поток кретинистического "свободоборства". И термин "тирания" - один из самых засаленных и раздражающих жупелов либирассных дуралеев, у которых всё их куцее "миропонимание" построенное вокруг  неосознанных нередцуируемых "святынь" "свобода-тирания". Я никогда не мог понять этого дурацкого пафоса и танцев дураков вокруг этого карго-культа "свобода-тирания". Почему ДУРАЛЕИ с этим призраком так носятся?
Вика, вы мне растолкуете?
Может найдётся дугой мудрец, который мне, тупорылому, растолкует? Милости прошу.
Что такое, нахрен, эта тирания? Я глубоко убеждён, что это пустышка, порожденная Западной (рабской в своей природе) цивилизацией не имеющая никакого смысла, например на Востоке. Форма массового обмана (порабощения). Развода дебилов. И только. 
Я могу даже показать как этот СИМУЛЯКР (псевдоценность) "свободы" зародился в глубинах античной философской мысли (явная платоническая ерись) из какого ДЕР-МА он произростает. И почему именно Запад страдает этим нездоровым "карго-культом".
Но может я просто чего-то не понимаю?
Давайте начнём с азов.
И так. Что же такое тирания? Почему мы так ее боимся? Почему так НЕПРИЕМЛИМ?
Можно ли воспринимать тиранию как тиранию, если она доставляет ВСЕМ наслаждение?
Например... тирания любви и секса.
А?
Я утверждаю что все, кто не приемлет тут никакую социальную тиранию (и отметился тут своим неприятием социальной тирании) - массовые кретины без собственных мозгов. Люди с мозги которых массово отымили в процессе их культурного (евро) воспитания.
Убедите меня в обратном!
 

[Бобр-99]

Убедите меня в обратном!

Зачем?

[alex_semenov]

Убедите меня в обратном!

Зачем?

Для того чтобы вам, САМИМ, массовым ДУРАКАМ, поумнеть.
Нам, дуракам поумнеть. Меня это тоже касается.
Я не могу гарантировать, что я - прав. Но то что все остальные - еще большие идиоты, в этом у меня нет и тени сомнения.

[Polnoch Ксю]

Может найдётся дугой мудрец, который мне, тупорылому, растолкует? Милости прошу.

Я бы попробовала объяснить в чём дело, но я думаю, что моё сообщение удалят, и меня может быть забанят, а может и нет. К сожалению, свободные дискуссии на эту тему жестко цензурируются, и неугодные мнения выпиливаются. Причём администрация АФ в этом не виновата, это законы такие.

Во-первых, это неправильный ресурс для такого обсуждения
Во-вторых, это неправильная тема. Это тема про ASI, а не про политику, тем более что она на форуме не разрешена к обсуждению. Да и вообще в целом не разрешена на российских ресурсах.

[alex_semenov]

Для тех кто больше абзаца не читает...

Что для человека ценней счастье или социальная свобода?

Для всех ли людей счастье и свобода - хотя бы не противоположные понятия (ведь этот мир и построен на том, что большинство выбирают счастье... даже безопасность, предсказуемость устроенность, вместо свободы)? Самым образованным предлагаю вспомните "Великого Инквизитора" у Достоевсокго.

[Polnoch Ксю]

Что для человека ценней счастье или социальная свобода?

Я думаю, для всякого интеллектуала критична возможность вести открытые обсуждения своих и чужих идей. Так же я думаю, что свободные дискуссии экспертов фундаментально необходимы для существования социума - конечно, пока этот социум сам производит технологии, а не копирует их. Так же я думаю, что творческая реализация важная часть пирамиды Маслоу. И AGI, несомненно будет её учитывать. Как и первые версии ASI, пока последний от нас зависит. А потом будет игнорировать.

Это то, что я могу сказать по теме и по теме Вашего вопроса, кажется, не нарушая правил.

[alex_semenov]

Причём администрация АФ в этом не виновата, это законы такие.

Тирания свободы? Вы, свободный челоек, боитесь местной тирании?

А давайте сделаем так. Вы мне напишете в личук, я тут это без купюр процитирую и даже попробую публично ответить, и значит банить будут меня за всё что я опубликовал (я могу даже ваш ответ заананимить). Мне - пох КТО высказал мысль! Я всегда презирал правила и инструкции, если я не вижу в них капли смысла и здравости. Мне не нужен закон если у меня есть Разум. Свобода - понятие не СОЦИАЛЬНОЕ, а МЕНТАЛЬНОЕ. Единственная свобода (всё остальное - рабство) - это СВОБОДА МЫСЛИ. И никаких иных свобод нет и быть не может. Свобода никак с устройством общества не связана. Я был свободен в "рабском" СССР (там меня и научили быть свободным) и я всё так же свободен в скатившейся в массовое  умственное скотство в/на Украине.