Посттехносингулярный мир и искусственный суперинтеллект: как он будет выглядеть?

[Olweg]

Это к вопросу о том, что "не следует опасаться порабощения машинами, ибо всякая технология всегда служит человеку". Сверхсильный ИИ даже ещё не создан - но ему уже во всю приносятся жертвы из дорогих металлов, чистых материалов и мегаватт электроэнергии. Ну и как тут спорить с тезисом Семёнова, что не цивилизация для человека, но человек для Левиафана цивилизации?

Жертвует ли бобр сгрызенное им дерево своей плотине? Тут тоже можно говорить всего лишь о расширенном фенотипе, то есть пока дата-центры служат людям с их генами, а не наоборот. Но вот что дальше - да, это вопрос интересный. К счастью (или к сожалению) узнаем уже скоро.

[Rattus]

Разве вы не тоже самое сделали в приведенной выше цитате?

Нет - у меня только опровержение всеобщего тезиса.

Сам принцип прост, у носителей есть потребности свои собственные, у цивилизации нет.

Какие реальные потребности общества удовлетворяет ЦОД под неведомый пока мощный ИИ?

но точно не может двигаться целенаправленно

ЦОД строится случайными людьми без плана и из случайно подвернувшихся материалов?

Жертвует ли бобр сгрызенное им дерево своей плотине?

Плотина в конечном итоге имеет эволюционно адаптивное значение для бобра.
Какое эвоюционно-адаптивное значение для популяции человеков несёт постройка конкретного ЦОД под допрежь неведомый мощный ИИ?

пока дата-центры служат людям с их генами, а не наоборот.

Если посмотреть на демографические процессы, то даже книги-учебники во многом становятся наоборот препятствием в распространении генов носителей.
А вот как нейросети существенно поспособствали, например, борьбе с медицинскими проблемами бесплодия - хотелось бы почитать...

[BlackMokona]

(не только прикладных, но хотя бы даже удовлетворения любопытства в какой-то конкретной области чистой фундаментальной науки)

Да как бэ проверить теорию, что масштабирования БЯМ способно создать сверхразум, это вполне себе теоретический вопрос, который многое прояснит.

[AlexDark]

А потом, когда станет понятно, что никакой ИИ не получился, жертвы будут продолжать приноситься, потому что смелого, который скажет о том, что король голый, не найдется. И это при самом благоприятном развитии событий, когда очередная волна технофанатизма не приведет к серьезным последствиям.

[EmperioAf]

Сверхсильный ИИ даже ещё не создан - но ему уже во всю приносятся жертвы из дорогих металлов, чистых материалов и мегаватт электроэнергии

Когда то давно в жертву Богам приносили людей (важная часть материального мира) , - а теперь полезные ископаемые (неважная часть материального мира) , которые служат на благо людей.
Видимо в постсингулярном мире в жертву Богам будут приносить нечто нематериальное; например информацию, которая не успела сколько нибудь сильно проявиться в материальном мире и повлиять на события.


Это ли не прогресс?!

[Olweg]

Какое эвоюционно-адаптивное значение для популяции человеков несёт постройка конкретного ЦОД под допрежь неведомый мощный ИИ?

А это уже проблемы эволюции - не нужно было машине репликации давать такие сложные мозги. Впрочем, восемь млрд тушек (причём немало весящих) - вполне себе успех, можно теперь и отдохнуть немножко

[AlexDark]

Только вот жертвы богам были совершенно бесполезны, поэтому очень скоро жертвоприношение в большинстве выродилось в символическое: "сожжем рога и копыта, в мясо съедим сами, потому что жалко и жаба душит". А в данном случае это расходы на нечто, что описано исключительно фантастами и не имеет никаких доказательств возможности существования...

[Olweg]

А в данном случае это расходы на нечто, что описано исключительно фантастами и не имеет никаких доказательств возможности существования...

Большие генеративные модели вполне уже существуют, причём в самых разных модальностях, а будет там из них какой AGI или нет - для бизнеса не столь важно.

[Rattus]

Да как бэ проверить теорию, что масштабирования БЯМ способно создать сверхразум, это вполне себе теоретический вопрос, который многое прояснит.

Во-первых БЯМ - это уже не теоретическая модель, а довольно конкретный класс инженерных решений, поэтому данный вопрос на фундаментальный уже не очень-то тянет. А во-вторых масштабирование существующих наиболее развитых БЯМ уже выявило ряд ограничений: массив обучающих данных уже фактически исчерпан, но всякое галлюцинирование и прочие "детские болезни" моделей излечить до требуемого в ответственных областях уровня надёжности так пока и не получилось. На что недвусмысленно намекает и, например, продолжающаяся задержка с выпуском очередной "общей" версии ChatGPT - при этом OpenAI сейчас вроде как вовсе не сетует на недостаток вычислительных мощностей конкретно для этой модели.

Видимо в постсингулярном мире в жертву Богам будут приносить нечто нематериальное; например информацию

Тогда мы уже 16 лет как живём при постсингулярности.
Вот только фокус в том, что согласно принципу Ландауэра, генерация единицы любой новой информации не может происходить без затрат определённого минимума энергии. Поэтому эта самая постсингулярность всё так же в конечном итоге упирается в энергоресурсы, как и вся предыдущая индустриальная эпоха.

[BlackMokona]

потому что смелого, который скажет о том, что король голый, не найдется.

Для этого в капитализме есть рука рыночка

[BlackMokona]

На что недвусмысленно намекает и, например, продолжающаяся задержка с выпуском очередной "общей" версии ChatGPT

Просто они пообещали что пятая будет огромным прорывом, поэтому сидят на гига обещаниях. Поэтому выпуск ГПТ-5 будет разочаровывающим провалом даже если модель будет Топ 1 по всем тестам в мире. Поэтому просто выпускают регулярно всё новые модели с промежуточными названиями. Тут как с ХайфЛайф 3 проблема. Пожтому держите эпизод 1, эпизод 2, Алекс.

Во-первых БЯМ - это уже не теоретическая модель, а довольно конкретный класс инженерных решений, поэтому данный вопрос на фундаментальный уже не очень-то тянет

Их масштабирование до уровня мозга ещё как тянет. Прыжок от триллиона к 100 триллионам всё ещё огромный.

А во-вторых масштабирование существующих наиболее развитых БЯМ уже выявило ряд ограничений: массив обучающих данных уже фактически исчерпан, но всякое галлюцинирование и прочие "детские болезни" моделей излечить до требуемого в ответственных областях уровня надёжности так пока и не получилось

С данными уже почти порешали, уже более 50% данных синтетика и процент растет. В один момент замкнут почти на полную синтетику, добавляя человеческие данные чисто для коммуникации с пользователем. Чтобы ИИ понимал что от него хотят и как это выдать.

излечить до требуемого в ответственных областях уровня надёжности так пока и не получилось

Зато требования стали постепенно усыхать,и уже не хотят безупречную 100% верную машину. А начинают принимать идею,что точнее чем человек достаточно. От чего внедрение идёт полным ходом куда не попадя

[AlexDark]

В один момент замкнут почти на полную синтетику

Что-то мне подсказывает, что в такой системе будет очень быстрый рост уровня внутреннего бреда (ошибок, вызванных в результате обучения на ошибках)

Для этого в капитализме есть рука рыночка

Только оно не всегда работает. Вот взять ИТЕР - его проектировать начали еще в конце 70-х (я сам читал статьи), когда еще не было ни азотных сверхпроводников, ни прочего, что появилось позже. И перепроектировать на новые технологии (разве что кроме компов) не стали. В итоге строится (с учетом проектирования) оно уже 50 лет, конца ему нет, бабло крутится, диссеры мутятся, в итоге тех, кто начинал, уже и в живых наверное нет. В итоге получится как в фантастике с "кораблями поколений", когда скорость прогресса быстрее скорости корабля, и пока древний корабль ползет, уже открывают варп.
Кстати, а почему никто не  вбухивает столько же денег в разработки варп-двигателя или в иные идеи из научной фантастики?
А в искусственного идиота финансирование льется рекой, не потому ли, что человечество в очередной раз решило почувствовать себя богом и что-то "сотворить"? Только на выходе в лучшем случае получится чудовище Франкенштейна. И то не факт.

[MenFrame]

Какие реальные потребности общества удовлетворяет ЦОД под неведомый пока мощный ИИ?

Давайте не будем путать конкретные потребности носителей выраженные в виде реализации их воли, с абстрактными потребностями общества которые уже давно имеют на 90% общефилософский характер в силу того что базовые потребности уже довольно хорошо удовлетворены а все что выше вопрос дискуссии и частного мнения.
 Если конкретизировать, то опять придется вернуться к цитатам Семенова. Люди любой ценой цепляются за старый мир, даже ценой еще большего упадка(в будущем) лишь бы сохранить спокойствие сиюминутного благополучия. Разве это не есть совершенно нормальная потребность разумных животных?
   

[неполитик]

и уже не хотят безупречную 100% верную машину. А начинают принимать идею,что точнее чем человек достаточно.

  А оно и не надо. Лучшее, враг хорошего.
Эти 100% не оправдают трудозатрат.

[Olweg]

С данными уже почти порешали, уже более 50% данных синтетика и процент растет. В один момент замкнут почти на полную синтетику, добавляя человеческие данные чисто для коммуникации с пользователем. Чтобы ИИ понимал что от него хотят и как это выдать.

Синтетика - это, конечно, хорошо, но проблема в том, что в ней нет никакой принципиально новой информации, только хорошо структурированная старая. Новую информацию всё-таки можно получить, только взаимодействуя с окружающим миром - либо опосредованно, через накопленный человечеством интернет, либо непосредственно через те же чаты или виртуальные симуляторы. Может, видео ещё - в конце концов, человеческий мозг в основном его и распознаёт. Интересно, сколько параметров у той же Veo?

[Olweg]

А в искусственного идиота финансирование льется рекой, не потому ли, что человечество в очередной раз решило почувствовать себя богом и что-то "сотворить"? Только на выходе в лучшем случае получится чудовище Франкенштейна. И то не факт.

На выходе уже получаются вполне полезные (хоть и глючащие порой) чатботы, генераторы картинок и видео и ИИ-агенты. Если бы не выпуск ChatGPT в своё время, таких инвестиций, как сейчас, и близко бы не было.

[MenFrame]

Новую информацию

Непонятно вообще откуда уверенность что новая информация привнесет что то новое. Если у вас к примеру тысяча изображений Майкла Джексона, то непонятно как удвоение количества изображений заметно повысит качество понимания сути данного субъекта. Мне лично очевидно что тут прогресс возможен сугубо на основе улучшения качества обработки уже имеющейся информации. А для этого нужно время и инженерные мозги которые будут генерить новые подходы к обработке данных.

[MenFrame]

А начинают принимать идею,что точнее чем человек достаточно.

Они и раньше это прекрасно понимали, ибо работают с людьми уже долго.

[Olweg]

Если у вас к примеру тысяча изображений Майкла Джексона, то непонятно как удвоение количества изображений заметно повысит качество понимания сути данного субъекта. Мне лично очевидно что тут прогресс возможен сугубо на основе улучшения качества обработки уже имеющейся информации.

Возможно. В конце концов, дети учатся по учебникам, которые тоже можно назвать синтетической информацией. Другое дело, что только по учебникам научится жизни невозможно. Перечитывая книгу в разном возрасте, человек находит в ней каждый раз что-то новое, хотя информация в ней одна и та же, но общий контекст, в котором она воспринимается, меняется с жизненным опытом. Конечно, новая информация часто бывает бесполезной, но этого никогда нельзя точно заранее сказать. Можно, наверное, лучше структурировать уже усвоенные знания нейросети через дообучение, но это в каком-то смысле тоже новая информация через взаимодействие.

[MenFrame]

Другое дело, что только по учебникам научится жизни невозможно.

Особенно если учесть что они для этого и не предназначены.

Перечитывая книгу в разном возрасте, человек находит в ней каждый раз что-то новое, хотя информация в ней одна и та же,

Это потому что человек занимается анализом информации, на предмет его текущего понимания полезности.

Конечно, новая информация часто бывает бесполезной, но этого никогда нельзя точно заранее сказать.

Когда речь идет о большом объеме данных, да и еще и полученном на основе уже имеющихся то уже можно с большой вероятностью говорить о бесполезности таких данных.
  На примере с Майклом Джексоном... Если у вас одна фотография певца(анфас), то добавление второй(профиль) это качественный скачек. Добавление третьей тоже большой буст, но уже не такой как до этого. Логично, добавление каждой новой фотографии дает все меньше и меньше нового знания о субъекте. Соответственно когда уже у вас есть тысяча фото, добавление еще тысячи даст небольшой буст. А если эта тысяча просто генерация на основе уже имеющегося архива?