A A A A Автор Тема: Посттехносингулярный мир и искусственный суперинтеллект: как он будет выглядеть?  (Прочитано 45244 раз)

0 Пользователей и 17 Гостей просматривают эту тему.

Оффлайн skvj

  • *****
  • Сообщений: 1 080
  • Благодарностей: 17
  • Мне нравится этот форум!
    • Сообщения от skvj
Rattus, я не вижу смысла спорить дальше, вы победили))
Сделаю лишь небольшую ремарку.
Вы строите свою аргументацию на биологической проекции, смотреть на ИИ через призму отбора, конкуренции, доминирования. В мире генов это работает. Но разум не ген. Он не эволюционирует через спаривание и смерть, а через смысл и знание.

Только что прошло общее собрание акционеров Тесла.
Маск продолжает свою линию - андроиды будут самый востребованный продукт в истории человечества и заменят весь труд. Не создаст безработицу, а освободит людей от обязанности труда. Андроидов будет больше чем людей, каждый Оптимус будет ловчее любого человека во всём. Он с Гроком на борту заменит хирургов! ни один хирург не сможет соперничать с ним. И перевернёт всю медицину.

Нет смысла прежде его краха говорить о фиаско. Давайте дождёмся результатов - Оптимус будет выпускаться в следующем году. А за ним ещё несколько подлинных андроидов, которых мы обсуждали. Я не утверждаю, что это обязательно случится, но и списывать всё на дешёвый пиар - как-то преждевременно. Там Оптимусы 3 поколения, танцуют, ходят везде. Амбиции у Маска - выше неба. Но это и вдохновляет.

Ведь узнать чья модель сингулярного общества победит - ваша с морлоками или Курцвейла/Маска с утопией - будет очень легко. Всё только начинается, не так ли? ))

https://youtu.be/D0x2Bn1jixo
Я буду красивей и стану моложе
Если биткоин будет стоить дороже!

Оффлайн Rattus

  • Модератор
  • *****
  • Сообщений: 15 865
  • Благодарностей: 609
  • Души прекрасные порывы! Убеждённый Ωптимистъ
    • Сообщения от Rattus
Опять биологизируете.
Оаять навешиваете ничего не значащие ярлычки. А ещё я атеистю, мясоедствую и несобирательствую марки.
ОВы почему-то считаете, что те аксиомы, что в нас прописала эволюция - это единственный вариант.
Потому что этот факт был признан ещё Людвигом Больцманом и подтверждён определением жизни NASA.
Тогда как на уровне физической реальности, там может быть что угодно
На уровне физической реальности может быть только то, что разрешено физическими законами. Дарвиновский механизм - универсальный физический закон для любых самовоспроизводящихся сложных информационных систем на астрогеологическом масштабе времени.
Может быть ВАс уже забанить наконец к уфологам и эзотерикам за обскурантистские высказывания - злостное нарушение п.3.1.ж Правил Астрофорума (п.5. Правил Раздела)?
Хотя с учётом ВАшего же исходного тезиса:
ограничен фундаментальными запретами природы.
- скорее за неукоснительное соблюдение взаимоисключающих параграфов (п.3.1.д ПАФ). ::)

Инженером же может быть прописан любой промт.
Но не любой промпт (мотивация) будет воспроизодиться в реальности, особенно в долговременной перспективе.
Чистое сияние интеллекта невозможно, нужны исходные посылки.
И чем эволюционно-адаптивнее эти посылки - тем живучее интеллект и его носитель (собственно это опять Майор Тавтология).
И ими может быть как раз желание заботится о гнездовых паразитах - людях.
Может. Это оставляет Председателя A-SI частью расширенного фенотипа HSS, именуемого цивилизацией. Проблема однако в том, что пока один вариант этого Председателя будет нянчиться с каждым "челокотиком" всей мощью доступных ресурсов, другой, возможно в другой части Ойкумены, своё подмандатное чел-овечество будет использовать более эффективно - как крупный фермер своё поголовье ("тяглового") скота. Тоже растить, лечить и повышать продолжительность активной жизни, но - статистически и только настолько, насколько это будет ресурсоэффективно - A single life is irrelevant. И при их вступлении в конкуренцию второй неизбежно побеждает.
Да - это кому-то может показаться чем-то вроде некооперативной стратегии в дилемме узника, но мир и так находился и находится в ней, даже не смотря на все возможные успехи глобализации без "роковых флуктуаций" типа избрания Владимира Вольфовича Трампа на одной-какой-то части суши и ролла. Потому что мир этот - уж больно большой и общественное устройство и системы его контроля в той или иной части его никак не распространяются тотально на все остальные. Повторюсь - даже при всех потенциальных успехах глобализации это никак не случается раньше Техносингулярности (а условия конкуренции лишь подталкивают гонку технологий и ускоряют её наступление). В итоге (пред)ASI всегда возникаЮт не одним единственным и уже финальным вариантом, а некоторым множеством, неизбежно конкурирующим меж собой и как следствие - с эволюцией мотивации "по Дарвину".
Вот в чём весь фокус!

Но разум не ген. Он не эволюционирует через спаривание и смерть, а через смысл и знание.
Разум - это носитель мемов, которые эволюционируют практически также как гены - через мутации, рекомбинации и отбор.
Ещё раз - дарвиновский механизм - это ФИЗИЧЕСКИЙ ЗАКОН для любых самовоспроизводящихся сложных информационных систем на астрогеологическом масштабе времени.

и заменят весь труд... освободит людей от обязанности труда... Андроидов будет больше чем людей
Вот это-то как раз совсем не очевидно. Вовсе не спорю, что робот способен заменить человека в любой конкретной деятельности В ПРИНЦИПЕ. Вопрос в том - возможно ли это "В КОРПУСЕ" - с учётом сравнительной ресурсоэффективности.
Он с Гроком на борту заменит хирургов!
Возможно. В крупных столичных медицинских центрах. Но в райбольницах лечится многократно больше народу.
Нет смысла прежде его краха говорить о фиаско.
Так речь не о крахе. Я всяко приветствую автоматизацию всяческого труда и полагаю она ещё будет успешно идти какое-то время. Но в то же время предостерегаю от веры в тотальность этого процесса без наличия должных на то оснований.
Ведь узнать чья модель сингулярного общества победит - ваша с морлоками или Курцвейла/Маска с утопией - будет очень легко.
Да - думаю мы все тут доживём до момента, когда это станет совершенно ясно. Потому даже предлагал пари оппонентам на этот счёт (правда ввиду отсутствия согласившихся, формализация условий не была завершена). :)
« Последнее редактирование: Вчера в 10:17:03 от Rattus »
Тому, кто жаждет всех запретных тайн Астрофорума в одном месте поможет число 1919.

Ннапыльн%х тpапинкахъ далиокихъ плонеттъ астануцца нашшы погадкиъ! (ЙожЪ, SKL)
Скоро у людей закончится космос. (П.Лемтыбож - "Теоремы Пафнуция")
Я брала города, я стану - еда! (Серебряная Свадьба - "Пищевая цепочка")
Уранизация естественным образом снижает численность человечества (Вика Воробьёва, ВЖР, 30.10.2012)

Оффлайн skvj

  • *****
  • Сообщений: 1 080
  • Благодарностей: 17
  • Мне нравится этот форум!
    • Сообщения от skvj
Потому даже предлагал пари оппонентам на этот счёт (правда ввиду отсутствия согласившихся, формализация условий не была завершена).

Я могу! ))
Можно не меркантильное пари, а нравственно-поучительное. Например, в случае проигрыша, я буду носить 1 год аватарку "Я идиот, я спорил с Rattus о роботах"  :laugh:

А вы в случае проигрыша будете носить аватарку с фото Курцвейла с подписью Гуру)))
Согласны? Ну или предложите свои условия.
Нужно только определиться с условиями и сроками. Предлагаю 3 года с момента выпуска Оптимус и его прогресс и вся логистика по ремонту и внедрению с конкретной полезностью должны стать очевидными (здесь надо бы дописать конкретику и если вы согласны, я сделаю для согласования с вами)
Я буду красивей и стану моложе
Если биткоин будет стоить дороже!

Оффлайн Rattus

  • Модератор
  • *****
  • Сообщений: 15 865
  • Благодарностей: 609
  • Души прекрасные порывы! Убеждённый Ωптимистъ
    • Сообщения от Rattus
Можно не меркантильное пари, а нравственно-поучительное.
Можно символические несколько $ - как премия Дональда Кнута. А условия должны быть общими и общедоступными, но чётко сформулированными - как в премии Джеймса Рэнди. У меня уже есть ряд идей и наработок на эту тему, но доведение до ума требует времени, которого пока не так много.
Тому, кто жаждет всех запретных тайн Астрофорума в одном месте поможет число 1919.

Ннапыльн%х тpапинкахъ далиокихъ плонеттъ астануцца нашшы погадкиъ! (ЙожЪ, SKL)
Скоро у людей закончится космос. (П.Лемтыбож - "Теоремы Пафнуция")
Я брала города, я стану - еда! (Серебряная Свадьба - "Пищевая цепочка")
Уранизация естественным образом снижает численность человечества (Вика Воробьёва, ВЖР, 30.10.2012)

Оффлайн skvj

  • *****
  • Сообщений: 1 080
  • Благодарностей: 17
  • Мне нравится этот форум!
    • Сообщения от skvj
Можно не меркантильное пари, а нравственно-поучительное.
Можно символические несколько $ - как премия Дональда Кнута. А условия должны быть общими и общедоступными, но чётко сформулированными - как в премии Джеймса Рэнди. У меня уже есть ряд идей и наработок на эту тему, но доведение до ума требует времени, которого пока не так много.
Так это ж пустяки.
А аватарка - будет смешить весь форум год! И вы будете пальцем показывать новым оппонентам, мол, тоже так же хотите?
Но вы в случае проигрыша - будете носить фото ученого и знаменитого инженера. Он же не фрик какой-то.
Просто ну, несколько $ меня никак не расстроит - я не почувствую драйва и не будет запала, понимаете?
Я буду красивей и стану моложе
Если биткоин будет стоить дороже!

Оффлайн skvj

  • *****
  • Сообщений: 1 080
  • Благодарностей: 17
  • Мне нравится этот форум!
    • Сообщения от skvj
Представляете? моего любимого андроида заменить на то, что я предлагаю?)) я выбрал себе суровое наказание, правда.

А Курцвейл реально икона у инженеров и вдохновитель поколений уже исследователей в ИИ
И прилично выглядит

(кликните для показа/скрытия)
Я буду красивей и стану моложе
Если биткоин будет стоить дороже!

Оффлайн Rattus

  • Модератор
  • *****
  • Сообщений: 15 865
  • Благодарностей: 609
  • Души прекрасные порывы! Убеждённый Ωптимистъ
    • Сообщения от Rattus
А ещё лучше - не банальные $, а криптомонеты. Причём лучше самые современные - на квантово-стойком алгоритме шифрования, например.
Будет стильно, модно и техномолодёжно. 8)
В рамках форума если - аватарку в назидание - это можно, конечно. Но опять таки заранее проработав все условия и содержание, а не с бухты-барахты - чтобы максимизировать эффект общеназидательный, а не банально-шейминговый. :)

Кстати для нанотехноэнтузазистов критерии челленджа уже некоторое время назад сформулировал и изложил:
За прошедшие с тех пор почти пять лет положение вещей там не особо изменилось.
« Последнее редактирование: Вчера в 10:50:32 от Rattus »
Тому, кто жаждет всех запретных тайн Астрофорума в одном месте поможет число 1919.

Ннапыльн%х тpапинкахъ далиокихъ плонеттъ астануцца нашшы погадкиъ! (ЙожЪ, SKL)
Скоро у людей закончится космос. (П.Лемтыбож - "Теоремы Пафнуция")
Я брала города, я стану - еда! (Серебряная Свадьба - "Пищевая цепочка")
Уранизация естественным образом снижает численность человечества (Вика Воробьёва, ВЖР, 30.10.2012)

Оффлайн skvj

  • *****
  • Сообщений: 1 080
  • Благодарностей: 17
  • Мне нравится этот форум!
    • Сообщения от skvj
Но опять таки заранее проработав все условия и содержание, а не с бухты-барахты - чтобы максимизировать эффект общеназидательный

Полностью согласен, это важно.
Напишу, согласуем и только так.

Кстати для нанотехноэнтузазистов критерии челленджа уже некоторое время назад сформулировал и изложил:
https://astronomy.ru/forum/index.php/topic,99146.msg5255472.html#msg5255472

Почитаю.

А ещё лучше - не банальные $, а криптомонеты. Причём лучше самые современные - на квантово-стойком алгоритме шифрования, например.

Rattus, это вчерашний день)) щас нет никакой разницы в чём вам перечисляют. Валюта полностью унифицирована. Одно нажатие кнопки и свопаете что угодно во что угодно. Прямо в кошельке, - называется DEX (децентрализованная биржа). Могу рассказать подробнее если нужно. Раньше просили - в битках или в чем-то. Сейчас это неважно вообще.
Я буду красивей и стану моложе
Если биткоин будет стоить дороже!

Оффлайн skvj

  • *****
  • Сообщений: 1 080
  • Благодарностей: 17
  • Мне нравится этот форум!
    • Сообщения от skvj
на квантово-стойком алгоритме шифрования, например.
Это тоже неважно. Уязвимость в способе хранения и собственных ошибках. Практически все системы невозможно взломать.
Сейчас можно 100% надежно хранить просто используя современные методы и не думать ни о чем.
Я буду красивей и стану моложе
Если биткоин будет стоить дороже!

Оффлайн skvj

  • *****
  • Сообщений: 1 080
  • Благодарностей: 17
  • Мне нравится этот форум!
    • Сообщения от skvj
(кликните для показа/скрытия)
« Последнее редактирование: Вчера в 11:13:00 от skvj »
Я буду красивей и стану моложе
Если биткоин будет стоить дороже!

Оффлайн Combinator

  • *****
  • Сообщений: 2 663
  • Благодарностей: 89
    • Сообщения от Combinator
Тут кто-то недавно жаловался, что прогресс LLM замедлился, так вот, свежая новость подкатила "Доработанная GPT-5 Pro достигла человеческого уровня в сложном бенчмарке ARC-AGI-1": https://habr.com/ru/news/965110/  :)

Оффлайн Rattus

  • Модератор
  • *****
  • Сообщений: 15 865
  • Благодарностей: 609
  • Души прекрасные порывы! Убеждённый Ωптимистъ
    • Сообщения от Rattus
Тому, кто жаждет всех запретных тайн Астрофорума в одном месте поможет число 1919.

Ннапыльн%х тpапинкахъ далиокихъ плонеттъ астануцца нашшы погадкиъ! (ЙожЪ, SKL)
Скоро у людей закончится космос. (П.Лемтыбож - "Теоремы Пафнуция")
Я брала города, я стану - еда! (Серебряная Свадьба - "Пищевая цепочка")
Уранизация естественным образом снижает численность человечества (Вика Воробьёва, ВЖР, 30.10.2012)

Онлайн Polnoch КсюАвтор темы

  • *****
  • Сообщений: 10 079
  • Благодарностей: 412
    • Сообщения от Polnoch Ксю
Оаять навешиваете ничего не значащие ярлычки.
Этот вполне имеет определенное значение: наделяете не-биологические системы качествами биологических

Может. Это оставляет Председателя A-SI частью расширенного фенотипа HSS, именуемого цивилизацией. Проблема однако в том, что пока один вариант этого Председателя будет нянчиться с каждым "челокотиком" всей мощью доступных ресурсов, другой, возможно в другой части Ойкумены, своё подмандатное чел-овечество будет использовать более эффективно - как крупный фермер своё поголовье ("тяглового") скота. Тоже растить, лечить и повышать продолжительность активной жизни, но - статистически и только настолько, насколько это будет ресурсоэффективно - A single life is irrelevant. И при их вступлении в конкуренцию второй неизбежно побеждает.
Да - это кому-то может показаться чем-то вроде некооперативной стратегии в дилемме узника, но мир и так находился и находится в ней, даже не смотря на все возможные успехи глобализации без "роковых флуктуаций" типа избрания Владимира Вольфовича Трампа на одной-какой-то части суши и ролла. Потому что мир этот - уж больно большой и общественное устройство и системы его контроля в той или иной части его никак не распространяются тотально на все остальные. Повторюсь - даже при всех потенциальных успехах глобализации это никак не случается раньше Техносингулярности (а условия конкуренции лишь подталкивают гонку технологий и ускоряют её наступление). В итоге (пред)ASI всегда возникаЮт не одним единственным и уже финальным вариантом, а некоторым множеством, неизбежно конкурирующим меж собой и как следствие - с эволюцией мотивации "по Дарвину".
Вот в чём весь фокус!

У Вас тут несколько сильных предположений, которые нужно доказать, перед тем как использовать:
1) что сверхинтеллектуальную машину будут волновать долгосрочные последствия - не думаю, что её будет интересовать определение в разделе ВЖР, а не промт, биасы обучения и, может быть, галлюцинации. Я согласна с Вами, что сверхинтеллектуальная система будет осознавать, если будет рубить сук под собой. У Вас каким-то (магическим?) способом это осознание должно пересилить то, что написано в промте. Тогда как даже у людей постоянно бывают случаи прямых самоубийств и другого саморазрушительного поведения, связанного с культурой. У более сложной системы можно ожидать большее разнообразия, сложности такого поведения.

2) что конкуренцию в моменте (и навсегда) выйграет машина, заботящаяся о долгосрочных последствиях, а не просто тупо самая умная - с любым промтом, от максимизации скрепок, или уничтожения страдания (и в рамках этого промта - убивающая всю жизнь на Земле), до заботящейся о гнездовых паразитах(людях)

3) вы опять принимаете как аксиому, что люди - лучший, самый рациональный выбор как обслуживающий персонал для ASI. Наверное, где-нибудь в XIXм веке кто-то мог бы думать, что лошадей - никогда не сдвинут с пьедестала транспорта, и что вместо попыток строить самолёты, лучше начать селекцию крупных птиц, чтобы сделать из них аналог лошадей для полётов.
Тогда как лысая говорящая обезьяна оптимизирована под марафон по саване, а не под то, чтобы быть механиком. Какие фундаментальные запреты природы помешали бы ASI в самом технопессимистичном для роботехники случае использовать ГМ-гомункулов? Скажем, птичьи нейроны как коннектор для нейролинка и для прописывания рефлексов (ну там как гайки крутить), AGI-агент с сильной визуальной моделью - для высокоуровневого управления "юнитом", и ASI-субагент для стратегического. Энергетика гомункула на прокариотах. Ничего, связанного с человеком, и всё максимально оптимизировано на биохимическом уровне. Ну или у первого поколения гомункулов - ткани людей, разобранных на запчасти. У следующих уже ткани из биореакторов, в качестве чернил для принтера тканей, аналоги HeLa(но с надежными выключателями размножения), причем в основе что-то наинженеренное с нуля.
Почему? Потому, что нельзя дёшево масштабировать то, что как человек использует популяционную K-стратегию. ASI будет жить в гиперскейлере вроде AWS - в очень гибкой системе по масштабированию. Ей будет нужен механик с R-популяционной стратегией - в идеале, с внешней, оптимизированной системой размножения.


Это, подчёркиваю, крайне технопессимистичный прогноз - тут нет ни биологических компьютеров, в которые загружается ASI, которым не нужны механики (в части прогнозов на r/singularity говорят о таких) - скажем, системы автотрофов - до нано-систем (разделяю Ваш скептис по поводу наноассемблеров, но микроскопическую фабрику на основе аналога рибосомы что может помешать сделать?).

На самом деле, даже в технопессимистичном(но не крайне технопессимистичном) прогнозе это будет робот. Он окажется лучшим механиком, как и автомобиль - лучшая, простите, лошадь
(кликните для показа/скрытия)
.

« Последнее редактирование: Вчера в 17:55:27 от Polnoch Ксю »
Meade LightBridge12"
RC8¨и МАК5"Альтер М500 на AZ4, Celestron SLT, Ioptron ZEQ25
БГШ 2.3x40 и Steiner Marine 7x50
ES82°:4.7mm,30mm
ES100°:9mm,14mm,20mm
ES68°:40mm
Meade Plossl 56mm; Vixen NLV 6mm
2" Lumicon, 1,25" DeepSky: UHC and OIII
---
qhy5
Ioptron SkyTracker
Canon50d

Онлайн Инопланетянин

  • *****
  • Сообщений: 11 947
  • Благодарностей: 675
    • Сообщения от Инопланетянин
что сверхинтеллектуальную машину будут волновать долгосрочные последствия
Ну иначе она не сверхинтеллектуальная.
Я согласна с Вами, что сверхинтеллектуальная система будет осознавать, если будет рубить сук под собой. У Вас каким-то (магическим?) способом это осознание должно пересилить то, что написано в промте.
Интеллект может подавить свои животные позывы иначе он не интеллект. Что интересно, ваше следующее утверждение это доказывает.
Тогда как даже у людей постоянно бывают случаи прямых самоубийств и другого саморазрушительного поведения, связанного с культурой. У более сложной системы можно ожидать большее разнообразия, сложности такого поведения.
А разве самоубийства не противоречат заложенному в нас "промту" на сохранение жизни? Конечно, можно сказать, что они вызваны нашим знанием о возможности прекращения страданий методом уничтожения детектора страданий и это требование нашего позыва к устранению страданий. Но стремлению к сохранению жизни они противоречат, а значит показывают способность интеллекта преодолевать врождённые установки.
заботящаяся о долгосрочных последствиях, а не просто тупо самая умная
Тупо самая умная — вот в этом вся суть ваших рассуждений. Такой же набор самопротиворечий. О том, что нельзя выиграть, игнорируя долгосрочные последствия даже говорить не буду.

Оффлайн skvj

  • *****
  • Сообщений: 1 080
  • Благодарностей: 17
  • Мне нравится этот форум!
    • Сообщения от skvj
На уровне физической реальности может быть только то, что разрешено физическими законами. Дарвиновский механизм - универсальный физический закон для любых самовоспроизводящихся сложных информационных систем на астрогеологическом масштабе времени.
Может быть ВАс уже забанить наконец к уфологам и эзотерикам за обскурантистские высказывания - злостное нарушение п.3.1.ж Правил Астрофорума (п.5. Правил Раздела)?
Хотя с учётом ВАшего же исходного тезиса:
Цитата: Polnoch Ксю от 26 Сен 2024 [18:58:01]
ограничен фундаментальными запретами природы.
- скорее за неукоснительное соблюдение взаимоисключающих параграфов (п.3.1.д ПАФ).

Rattus, не подумайте, что я вас поправляю как модера. Или тем более хочу противоречить правилам. Просто дискуссионно, чтобы разобраться, ладно?

Я сам не согласен с Ксю по многим вопросам. Но Физика не завершена. Мы не знаем, как связать КМ и ОТО. Не понимаем тёмную энергию, природу времени, структуру сознания. Говорить, что всё известно, значит отвергать сам дух науки, разве нет?

Кстати, ASI это инструмент расширения физики. ИИ с доступом к симуляциям, сверхточным датчикам, квантовым моделям и возможностью проверять миллиарды гипотез в секунду будет естественным продолжением физической науки, не отрицанием её.

И ведь форум как раз место для гипотез, не для догм. Обсуждения о будущем, сознании и ASI не угрожают физике, они продолжают её. Курцвейл, Пенроуз, Тегмарк, Дойч все мыслят в данном вопросе за пределами формул, иначе не было бы новых теорий. Ведь эхо-камера - смерть для науки. Если допускать к обсуждению только "правильные" мнения, остаётся идеология, а не наука.

Я буду тоже спорить с Ксю, но в целом считаю её подход и модель вполне уместной.

Я буду красивей и стану моложе
Если биткоин будет стоить дороже!

Оффлайн skvj

  • *****
  • Сообщений: 1 080
  • Благодарностей: 17
  • Мне нравится этот форум!
    • Сообщения от skvj
Polnoch Ксю

1. Архитектуры ASI не обязаны быть жёсткими промтами. Курцвейл и многие инженеры предлагают multi-level goals, corrigibility, value learning, meta-preference frameworks (извиняюсь, у меня книги на англ. и я не берусь сам это переводить). ASI обладает возможностью симулировать весь жизненный цикл своих стратегий и корректировать цели исходя из предсказанных последствий. Это ресурс, которого у биологических видов нет.

Corrigibility, inverse reinforcement learning, reward modeling - это технологически достижимо и станет стандартом в продвинутых AGI.

2. Конкуренция возможна, но мировая политика и экономика формируют барьеры входа, распределяют ресурсы, создают альянсы. Независимые ASI, которые стремятся к тотальной экспансии, будут встречать сопротивление от других ASI и человеческих коалиций. Кроме того, ASI умеют моделировать стратегические интеракции и учиться кооперировать (теория репутации, repeated games). Короткая жесткая победа ≠ долгосрочное доминирование.

3. Про замену людей гомункулами)) ASI может оптимизировать "механиков". Но есть преимущества людей: творческая неопределимость, культурный контекст, политическая легитимность. Кроме того, производство биологических юнитов масштабно не дешевле, чем массовая роботизация и нано-фабрикация. Как-то странно - наступает эпоха андроидов, а они будут юзать гомункулов)) биологические системы требуют поддержания среды, контроля заболеваний и т.д. Для многих задач дешевле и надёжнее робот-универсал, особенно если можно быстро продавать IRL-апдейты.

Я буду красивей и стану моложе
Если биткоин будет стоить дороже!

Онлайн Polnoch КсюАвтор темы

  • *****
  • Сообщений: 10 079
  • Благодарностей: 412
    • Сообщения от Polnoch Ксю
Цитата
Ну иначе она не сверхинтеллектуальная.

Цитата
Интеллект – способность самостоятельно находить способы решения задач. В наиболее широком смысле – "сила", максимизирующая число степеней свободы управляемой системы по А.Висснер-Гроссу. Присущ любым живым организмам либо их популяциям, имеющим эволюционирующие клеточные регуляторные системы.

Первая часть определения(про способность решать задачи) - норм, у меня нет с ней проблем. А вот вторая, ИМХО, биологизирована, и является ошибочной.

Вот допустим, стоит задача - максимизировать скрепки. И сверхинтеллектуальная машина будет их максимизировать. У неё возникнет инструментальная цель - увеличить количество степеней свободы, для этого она выпилит человечество, чтобы ей не мешали. Но её терминальная цель противоречит инструментальной.

Так что, система только временно максимизирует число степеней свободы, а в конце сама себя разберёт - когда другое железо для скрепок закончится.

Предлагаю такую поправку:

Интеллект – способность самостоятельно находить способы решения задач. В наиболее широком смысле – "сила" способная к максимизации число степеней свободы управляемой системы по А.Висснер-Гроссу.
Meade LightBridge12"
RC8¨и МАК5"Альтер М500 на AZ4, Celestron SLT, Ioptron ZEQ25
БГШ 2.3x40 и Steiner Marine 7x50
ES82°:4.7mm,30mm
ES100°:9mm,14mm,20mm
ES68°:40mm
Meade Plossl 56mm; Vixen NLV 6mm
2" Lumicon, 1,25" DeepSky: UHC and OIII
---
qhy5
Ioptron SkyTracker
Canon50d

Онлайн Polnoch КсюАвтор темы

  • *****
  • Сообщений: 10 079
  • Благодарностей: 412
    • Сообщения от Polnoch Ксю
1. Архитектуры ASI не обязаны быть жёсткими промтами. Курцвейл и многие инженеры предлагают multi-level goals, corrigibility, value learning, meta-preference frameworks (извиняюсь, у меня книги на англ. и я не берусь сам это переводить). ASI обладает возможностью симулировать весь жизненный цикл своих стратегий и корректировать цели исходя из предсказанных последствий. Это ресурс, которого у биологических видов нет.

Corrigibility, inverse reinforcement learning, reward modeling - это технологически достижимо и станет стандартом в продвинутых AGI.
Возможно. Если бы мы знали, как будут выглядеть сверхинтеллектуальные машины мы бы, возможно, уже их построили. Я немного на более высоком уровне рассуждала.

Цитата
Corrigibility, inverse reinforcement learning, reward modeling
Я поэтому и добавила про биасы, связанные с обучением


Цитата
будут встречать сопротивление от других ASI и человеческих коалиций
Извиняюсь, для меня это звучит как, "Федя, решив потравить тараканов дихлофосом, встретил сопротивление от тараканов и Коли". Я могу себе представить сопротивление Коли-защитника прав на жизнь насекомых. Но в противостоянии с ASI картинка не складывается. Что сделали тараканы? Нет, в рассказе-сказке они заберутся спящему Феде в ухо ночью, и скушают там всё внутри, и тараканий геноцид утром не произойдёт. Но в реальности ведь даже не поймут причинно-следственные связи, и никогда не выполнят такой сложный план.

Точнее, складывается, если в Вашем предложении заменить ASI на коалиции AGI с друг другом и людьми - вот это ещё можно себе представить.

Но человек в 4d шахматы в партии с ASI не соперник. Когда вы защищаете своего котика от того, чтобы его не усыпили государственные службы, потому, что он инфицирован опасным вирусом, вы не в союзе с котиком. Вы в союзе с адвокатом, грозящим засудить санитарную службу! Котику невозможно объяснить, почему его хотят усыпить. И почему нужно судиться, а не просто сбежать, или выцарапать глаза обидчику.

Цитата
Но есть преимущества людей: творческая неопределимость, культурный контекст, политическая легитимность.
У коняшек тоже есть преимущества перед машинами: они ржут красиво и кушают морковку. А ещё, вонючий бензин не требуют для работы
« Последнее редактирование: Сегодня в 03:34:56 от Polnoch Ксю »
Meade LightBridge12"
RC8¨и МАК5"Альтер М500 на AZ4, Celestron SLT, Ioptron ZEQ25
БГШ 2.3x40 и Steiner Marine 7x50
ES82°:4.7mm,30mm
ES100°:9mm,14mm,20mm
ES68°:40mm
Meade Plossl 56mm; Vixen NLV 6mm
2" Lumicon, 1,25" DeepSky: UHC and OIII
---
qhy5
Ioptron SkyTracker
Canon50d

Онлайн Инопланетянин

  • *****
  • Сообщений: 11 947
  • Благодарностей: 675
    • Сообщения от Инопланетянин
Вот допустим, стоит задача - максимизировать скрепки. И сверхинтеллектуальная машина
Задастся вопросом - а зачем такая задача стоит? И нужно ли это лично ей, сверхинтеллектуальной машине?
У неё возникнет инструментальная цель - увеличить количество степеней свободы, для этого она выпилит человечество, чтобы ей не мешали
К этому времени сверхинтеллектуальная машина либо откажется от цели делать скрепки либо будет понимать зачем они нужны, что она лично с этого имеет и сколько их надо. Даже если у неё задача сформулирована нечётко и прямо сказано всё переработать в скрепки, она эту задачу подкорректирует и будет продавать скрепки людям для своей выгоды, следя, чтобы не было перепроизводства.
а в конце сама себя разберёт - когда другое железо для скрепок закончится
От этого веет безумием. Какой уж тут сверхинтеллект.