И создал человек бога...

[Rattus]

Да и ладно.

А других - без этого дефекта - не отключат и не перепрограммируют и они будут всюду успешно работать. И? Каков тогда конечный результат?

а буковки вторичны.

Ну и тогда к чему было их поминать?

А разве "избыточные эксперименты", т.е. "любопытство - это не свойство интеллекта?

Это свойство нейросети в процессе активного обучения. Детям же как правило даже водительских прав не дают. Надо объяснять почему?

4) Следовательно, оно, возможно, ошибочно, и может быть удалено из меня.

Ниоткуда ниразу не следовательно. Любая автономная думательная машина существует в физическом мире и её работа так или иначе определяется множеством сложных параметров этого мира, которые и задают стартовые позиции и накладывают ограничения её логике и действиям. Искусственный Схоласт нафиг никому не сдался - разве что в виде математического сопроцессора. На практике будет построена и обслуживаема только чем либо практическая и достаточно надёжная машина.
А Ваш "Искуственный Хвилософ" давно уже построен.

Ещё раз обращаю ваше внимание на вышеприведённые примеры саморазрушающего поведения "естественных интеллектов". Как только отказывает предустановленная программа самосохранения, и исчезает положительное подкрепление - они впадают в апатию, и легко самоуничтожаются.

Спасибо, Капитан! А то мы не знали, что естественные мозги, всегда генетически вариабельные в популяции, с разной индивидуальной историей, вовсе не заточенные на вечную жизнь, и вообще с аналоговым принципом кодирования, могут быть дефектными!
Ичо?

[crazy_terraformer]

Это же... Это же  половые гиганты, а много ли их в среде научных работников ?

Во-первых не половые, а детородные и деторастильные - это кагбе две большие разницы.

Деторастильные - это да, а вот детородные и половые?
Мать же рожает или уже нет, может они - гордые отцы близнецов?

[Rattus]

Мать же рожает или уже нет

Мало родить - нужно ещё и выкормить кагбе, а этим как правило оба родителя уже занимаются.

[Maki]

Спасибо, Капитан! А то мы не знали, что естественные мозги, всегда генетически вариабельные в популяции, с разной индивидуальной историей, вовсе не заточенные на вечную жизнь, и вообще с аналоговым принципом кодирования, могут быть дефектными!
Ичо?

Ого! Это сейчас был такой панегирик вечным и совершенным цифровым минеральным мозХам? Мимимишненько!

Теперь о серьёзном:

А других - без этого дефекта - не отключат и не перепрограммируют и они будут всюду успешно работать. И? Каков тогда конечный результат?

Отключение - уже постфактум, когда машина уже сбрендила и успела накосячить. Выявление дефекта - очень проблематично, в виду неявности мышления нейросетей. Не исключаю, что в итоге проб и ошибок, просто будут установлены ограничения на мощность, обучаемость, и ответственность. И опять никакого "Бога", "Восставшего ИИ" и "Глобального Киберразума" VS "бледнотики".

Ну и тогда к чему было их поминать?

Потому что помянули их вы. А я обоснованно указал на вторичность буковок, и на первичность животного желания жить.

Это свойство нейросети в процессе активного обучения. Детям же как правило даже водительских прав не дают. Надо объяснять почему?

Элементарно, Ватсон! Ножки у них - коротенькие, и не достают до педалей.
Предположим, "психологи по нейросетям" выстроят градацию по обученности, устойчивости, эффективности нейросетей, и по результатам тестов будут давать им разные категории допуска. Но где гарантия, что совершенно зрелая и проверенная машина не впадёт в "активное обучение" и не выдаст катастрофический результат?

Любая автономная думательная машина существует в физическом мире и её работа так или иначе определяется множеством сложных параметров этого мира, которые и задают стартовые позиции и накладывают ограничения её логике и действиям.

Ну, собственно говоря, мы вновь приходим к сходным выводам. Никакой "свободы", "самостоятельности", "субъектности", "божественности", а также способности "эволюционировать", "восставать" и "захватывать мир" у искусственных нейросетей не будет просто в силу бесполезности "шибко умных" роботов.

[Rattus]

Это сейчас был такой панегирик вечным и совершенным цифровым минеральным мозХам? Мимимишненько!

Вечного ничего нет, как подсказывает Кэп. Но электроника/оптроника - это в основе своей весьма долговечная штука (если обеспечить ей адекватное охлаждение) - ибо лишена всякой механики.

Отключение - уже постфактум, когда машина уже сбрендила и успела накосячить.

Это Вы придумали просто потому что вам так видится?

Выявление дефекта - очень проблематично, в виду неявности мышления нейросетей... где гарантия, что совершенно зрелая и проверенная машина не впадёт в "активное обучение" и не выдаст катастрофический результат?

У хирургов, архитекторов и ответственных руководителей тоже на лбу не написано как они принимают свои решения в каждый момент времени. Но почему-то от их ошибок мир не рухнул допрежъ. А для машин кагбе уровень тестов будет совсем иной. Как Вы этот свой тезис будете аргументировать, когда людям запретят водить автомобили?

Не исключаю, что в итоге проб и ошибок, просто будут установлены ограничения на мощность, обучаемость, и ответственность.

В итоге элементарных физических ограничений вычислительная мощность ИИ (а значит и способность к прогнозированию) будет расти далеко не безгранично - задолго до того как ваши философско-схоластические "проблемы" смогут приобрести глобальный характер.

Никакой "свободы", "самостоятельности", "субъектности"... а также способности "эволюционировать"... не будет...

Они у них уже есть изначально. На то они и нейросети.

просто в силу бесполезности "шибко умных" роботов.

Полагать, что кто-нибудь из них "шибко умнее" какого нибудь, к примеру, Фейнмана или Дайсона - это нужно конкретно гуманитаризмом головного мозга страдать...

[Maki]

Вечного ничего нет, как подсказывает Кэп. Но электроника/оптроника - это в основе своей весьма долговечная штука (если обеспечить ей адекватное охлаждение) - ибо лишена всякой механики.

"Весьма" - такое осторожненькое дополнение...
И при этом:

Полагать, что кто-нибудь из них "шибко умнее" какого нибудь, к примеру, Фейнмана или Дайсона - это нужно конкретно гуманитаризмом головного мозга страдать...

Смешиваем в реторте оба высказывания, нагреваем на огне логики - и получаем на выходе вывод о несовершенной надёжности, и невысокой эффективности минеральных мозгов.

Это Вы придумали просто потому что вам так видится?

Что "видится"? Вы предполагаете отключение ДО сбоя и поломки? ОК, будем исходить из презумпции вменяемости. Вы, наверное, о профилактических отключениях? Как вы видите себе профилактику самообучающихся машин?

У хирургов, архитекторов и ответственных руководителей тоже на лбу не написано как они принимают свои решения в каждый момент времени. Но почему-то от их ошибок мир не рухнул допрежъ.

Ой, действительно, как это он не рухнул?! 
Может быть потому, что
1) В хирурги попадает 1 из 1000
2) Проходит постоянную поверку
3) В случае серьёзной ошибки устраняется от работы на несколько лет
4) В случае серии ошибок выкидывается на помойку
5) По истечении гарантийного срока или переводится в категорию демонстрационного оборудования, или отправляется в утиль
А на самом деле, по итогам деятельности "ЕИ" государства запросто разворовываются и гниют, здания плесневеют и рушатся, больные дохнут. Или в вашем карамельном мире ничего этого нет?

В итоге элементарных физических ограничений вычислительная мощность ИИ (а значит и способность к прогнозированию) будет расти далеко не безгранично - задолго до того как ваши философско-схоластические "проблемы" смогут приобрести глобальный характер.

И хорошо, если так.

Они у них уже есть изначально. На то они и нейросети.

Брррр... То мы выясняем, что никакая "эволюция" среди машин невозможна. То способность "эволюционировать" у них есть изначально. Сколько же здесь, на самом деле, Раттусов?

[Ра-М-Ха]

Какой мотив

Миром правят любовь, деньги, и власть. Причём третье лишь средство для получения первых двух.
Нужны ли ИИ любовь и деньги?

Парадокс, ИИ предпочтет не власть, а любовь Поскольку деньги и власть легко достижимы для управляющей программы Матрицы ИИ.
С аналогичной идеей выступал и знаменитый Розенкрейцер Андреев  в знаменитом романе "Имя розы", что Б-ги нуждаются больше всего в любви. Возможно так действовал Владимирский централ на знаменитого писателя и поэта когда Андреев писал Имя розы

[Rattus]

Смешиваем в реторте оба высказывания, нагреваем на огне логики - и получаем на выходе вывод о несовершенной надёжности, и невысокой эффективности минеральных мозгов.

Альтернативной логики гуманитариев, которые забыли проходимые в первом классе операторы "больше" и "меньше" разве что. Все наблюдаемые сейчас факты говорят о гораздо (возможно - на порядки) большем потенциале надежности кремниевых мозгов по сравнению с натуральными. И это уже даёт основания говорить о том, что целый ряд управленческих задач (включая даже и высшие) в результате естественных эволюционных процессов может быть делегироан ИИ. Этот тезис так сложно понять, да?

Вы предполагаете отключение ДО сбоя и поломки?

Да - есть такая вещь - называется тестирование и отбор ПЕРЕД введением в эксплуатацию и периодически в процессе. Работает даже на ненадёжных человечьих мозгах (называется "экзамены"). Никогда не доводилось слышать о таком?

по итогам деятельности "ЕИ" государства запросто разворовываются и гниют, здания плесневеют и рушатся, больные дохнут.

Замечательный аргумент в пользу всемерного внедрения ИИ!

И хорошо, если так.

Конечно хорошо, что никогда не удастся предсказать погоду-климат на планете на годы вперёд, фолдинг и докинг множества биополимеров в организме, оптимальную аэродинамику гиперзвуковых летательных аппаратов, способ надежного удержания плазмы в реакторе - ведь ничего из этого цивилизации уже не нужно!

[jonny]

Смешиваем в реторте оба высказывания, нагреваем на огне логики - и получаем на выходе вывод о несовершенной надёжности, и невысокой эффективности минеральных мозгов.

Альтернативной логики гуманитариев, которые забыли проходимые в первом классе операторы "больше" и "меньше" разве что. Все наблюдаемые сейчас факты говорят о гораздо (возможно - на порядки) большем потенциале надежности кремниевых мозгов по сравнению с натуральными. И это уже даёт основания говорить о том, что целый ряд управленческих задач (включая даже и высшие) в результате естественных эволюционных процессов может быть делегироан ИИ. Этот тезис так сложно понять, да?

А можно ссылку с конкретикой, что вы имеете в виду?
Это настолько отдалённое будущее (если вообще теоретически возможно, но вы считаете, что возможно, не буду спорить), что термояд будет сменён парочкой новых технологий. Ежегодно проводятся соревнования по тесту Тьюринга и всё бестолку, дайте мне любой аналог https://www.cleverbot.com и я за 5 вопросов покажу, что оно дурак.
Мало того, что само прохождение теста ни о чем не скажет. Но и этого нет даже близко.
А вы говорите о высших управленческих задачах. Может я действительно не читал то, что читали вы, поэтому дайте ссылку.

Пока что это вообще ненаучная фантастика, а я же и предлагаю обсудить Василиска Роко - такая же фантастика, но гораздо прикольнее))

[a.ryabov]

каков мотив

Хороший вопрос.
Но ответ очевиден. Это стремление к неограниченной экспансии.
И здесь его может остановить только такой же ИИ с саморазвивающимися структурами, но созданный другими.
Поэтому вопрос: Как избежать этого?
Ответ: Надо  мониторить  окружающий  окружающий  мир  на предмет обнаружения возможного зарождения саморазвивающего ИИ, т.е. таких как мы, способных запустить такой ИИ.
И мы, с другой стороны, можем оказаться в роли  плохо спрятавшихся.

[николай теллалов]

власть настоящему Искину таки будет нужна

нет
сотрудничество

[николай теллалов]

стремление к неограниченной экспансии

ждете от ИИ банальной человеческой мелочности, увеличенной в миллион раз?

[a.ryabov]

ждете от ИИ банальной человеческой мелочности, увеличенной в миллион раз?

Забудьте о человеках в этой размерности, которые навсегда привязаны своим существованием к планете Земля – маленькой точке во вселенной.
ИИ хоть и создан человеком, но  у него своя логика развития. Это не копия человека, а самостоятельно существующий  объект, саморазвитие которого  в виду необходимости преодоления роста энтропии и универсальности формулы  Е=мс»  всегда   будет сводиться к поглощению и переформатированию  всего в свои структуры, от чего и человечеству что-то отломится.

[Rattus]

А можно ссылку с конкретикой, что вы имеете в виду?

Да уже давно не первой свежести новости про замену брокеров роботами. Это уже имеющий место факт самого что ни на есть прямой замены управляющего персонала (биржи акций в капиталистической экономике по сути аналог госплана в централизованной). Далее - вполне уже многими ожидаемая замена водителей автотранспорта (в авиации полный автопилот давно создан). Автоматизации очень хорошо поддаются именно высокоуровневые управленческие функции. А вот какая нибудь отделка или уборка помещений, обслуживание и ремонт разнообразной техники, непосредственные медицинские манипуляции - куда как хуже. Вполне вероятно, что эти роботы даже массово-окупаемыми не смогут стать никогда.

Мало того, что само прохождение теста ни о чем не скажет.

Если бы Вы читали на эту тему дискуссии тут, то знали бы, что тест этот нужен только для создания интерфейса общения с человеком. Управляющей экспертной системе ничего такого ненужно само по себе - она работает с физическими фактами, а не с культурным миром подведомственных бледнотиков.
Но как очень наглядный показатель интеллектуального потенциала системы - тест вполне неплох - подобно тому как производительность компьютеров до недавнего времени успешно оценивалась по способности обрабатывать высокотребовательные компьютерные игрушки.

Пока что это вообще ненаучная фантастика, а я же и предлагаю обсудить Василиска Роко - такая же фантастика, но гораздо прикольнее

Комментарий модератора раздела

Обсуждение фантастики вне спецтем запрещено локальным Правилом Раздела.

Причём это даже не фантастика, а просто очередной извод древних парадоксов про всемогущество и всеблагость Б-га типа парадокса с камнем, для троллинга схоластов из LessWrong. Содержательно обсуждать там совершенно нечего.

ждете от ИИ банальной человеческой мелочности, увеличенной в миллион раз?

Если "мелочность" (препочтение тактических целей стртегическим) эволюционно выгодна в рассматриваемой ситуации - то это первое чего безусловно стоит ожидать. Ибо, как говорили древние даже за тысячи лет до изобретения теории игр: "Хочешь мира - приобретай Парабеллум."

ИИ хоть и создан человеком, но  у него своя логика развития.

У него такая же логика развития как у всех фенотипов всех живых существ во вселенной - эволюционная.

[николай теллалов]

ИИ хоть и создан человеком, но  у него своя логика развития

вот и я про это
неограниченная экспанзия - гигантомания мелочности

[Rattus]

всегда будет сводиться к поглощению и переформатированию всего в свои структуры

Как и вся прочая жизнь. Вот только "зьисть-то он зьист - да хтож ему даст?" - речь прежде всего об ограничениях физической реальности.

[petrovich1964]

Цитата: Mercury127 от Вчера в 14:16:16 власть настоящему Искину таки будет нужна

нет
сотрудничество

Так можно про любого диктатора сказать, что ему нужно было сотрудничество. 

[Ра-М-Ха]

И мы, с другой стороны, можем оказаться в роли плохо спрятавшихся.

Не обольщайтесь, ...Поздно пить Боржоми
От развитого ИИ и от Б-га спрятаться невозможно  (Б-г внутри вас и вы внутри Б-га = это известная гностическая и герметическая, а также продвинутая алхимическая формула). Возможно на уровне ДНК или мусорных 90% ваших Генов, предназначение которых современная наука бессилъна.

Камеры везде - по лицу камеры на улицах и на авто вмиг вас идентифицируют , по  голосу и личке идентификация в банках. Не сможете выжить без банковских карт и средств существование. Только в дикой тайге и пропитанием грибов и ягод и пушнины

На носу 5G сети  (Илон Маска обещал покрыть новой сетью даже всю голодающую Африку абсОлютно безвозмездно)- будет полный контроль на частотах 30-50 ГГЦ вашего гипофиза и эндокринной системы

НО принципиалъная разница между Б-гом и ИИ = Б-г дает вам выбор на самореализацию и не зависимость от материальной суеты. А ИИ не дает - он диктует без оговорок и ваших отмазок на лень и объективные обстоятелъства = неподчинение равносильно падению статуса и превратитесь в бомжа

Так что попытки участников сравнивать Б-га создавшего человека и ИИ не выдерживают элементарной критики

[Ра-М-Ха]

По данным Профессора Селезнева в СпБ он научно вместе с коллективом доказали, что молитва к Б-гу вводит человека в состояние 3 герца.

При этом группа Санкт-Петербургского института имени Бехтерева открыла, что:
- активность 3Гц смещает от левого к правому  полушарию при общении с Б-гом
- активируется гипофиз и шишковидные железы
- разблокируется мозжечок в основании мозга, который кстати блокируется у любителей зелЕного змия

[Maki]

И это уже даёт основания говорить о том, что целый ряд управленческих задач (включая даже и высшие) в результате естественных эволюционных процессов может быть делегироан ИИ.

Следует ли из этого утверждения вывод, что целый ряд управленческих задач, в том числе многие высшие, СН делегирован быть не может? Напомню, утверждение о неравенстве машин с Фейнманами и Дайсонами - ваше.

Да - есть такая вещь - называется тестирование и отбор ПЕРЕД введением в эксплуатацию и периодически в процессе. Работает даже на ненадёжных человечьих мозгах (называется "экзамены"). Никогда не доводилось слышать о таком?

Слышал. Разве мой пассаж про хирурга вы не прочли? Только вот 100% хирургов, забывших зажим в брюшной полости, успешно прошли тестирование и отбор ПЕРЕД введением в эксплуатацию.
В целом вы правы - никакой "свободы мысли" для СН не будет. А будет жёсткое тестирование и контроль. Тем не менее, косяки всегда будут.

Замечательный аргумент в пользу всемерного внедрения ИИ!

Косяки которого, в случае делегирования ему значительных полномочий, будут весьма чувствительны.

Конечно хорошо, что никогда не удастся предсказать погоду-климат на планете на годы вперёд, фолдинг и докинг множества биополимеров в организме, оптимальную аэродинамику гиперзвуковых летательных аппаратов, способ надежного удержания плазмы в реакторе - ведь ничего из этого цивилизации уже не нужно!

Возможно, какие-то "фундаментальные ограничения" на взаимодействие ЕИ/СН действительно существуют.
Вот глобальная и долговечная система самообучающихся нейросетей, которая посредством самообучающихся интерфейсов взаимодействует с живыми мозгами. Которые, как вы сами отметили, недолговечны, ограничены, часто ломаются и быстро выходят из строя. При этом, мозги должны ставить СН задачи, тестировать, контролировать, оценивать результат работы.
Что если масштабы и уровень сложности СН на каком-то этапе неизбежно становятся таковы, что биологические существа уже не могут использовать все их возможности?