Пределы автоматизации и внедрения роботов

[Vavanzer]

Это ошибка всех молодых преподавателей. Не спешите, с возрастом и опытом - придёт.

Вы, кажется, не поняли идею: это не образовательный тред, и сообщения не были адресованы людям, которые, скажем, пользуются форумом с планшета в силу того, что компьютера у них нет и никогда не было, а слово LLM для них звучит как заклинание из фэнтези - это была дискуссия с людьми, которые хоть немножко понимают о чём речь.

Если Вам что-то не понятно, не стесняйтесь спрашивать, я или кто-то ещё из участников темы Вам объясним. Но вообще чтобы что-то полезное написать на тему ИИ в ВЖР, мне кажется, стоит хотя бы раз в жизни запустить LLM самостоятельно сверху той же ollama(ну или LM studio) - я думаю, куча вопросов пока Вы будете это делать, отпадут сами по себе, и станет понятно что мы тут обсуждаем

Кстати я задавал здесь этот вопрос, что это такое, это все, и для чего вообще создаются эти ИИ. Какова цель? Во что и ради чего такие вложения?
 Ответа не последовало, никто не откликлулся. Отсюда вывод - люди сами не понимают что делают  А так хочется узнать именно от фанатиков этой всей лабудени)))

 Немного ясности в вопрос принесло чтение краткой истории, откуда все это растет, для чего изначально создавалось, во что упиралось, какие успехи, провалы, продвижения и торможения на годы были, в разные времена.  Но там основные корни растут из контекста холодной войны, тк в то время все и начиналось, и под нее и затачивалось.
 Что хотят сейчас от этих ИИ - пока еще не разобрался!

[Leonidsm99]

  Люди выкладывают в основном картинки и короткие коменты [примитивные]...
 ... Насколько скоро появится сверх разум [на основе всего этого] ?
 

успели достроить и запустить датацентры).", но в целом развитие идёт.

  И... Что в итоге хотят получить на основе всего этого мусора!?)

 Лучше бы Маску посчитали ноомальный Старшип, чтоб он быстрее на Марс уже отправился))) И то пользы больше было бы от всех этих компьютеров!)

Уже сейчас как минимум идёт процесс создания лекарств в том числе с помощью нейронок

[Olweg]

И в 60-е 70-е без всяких «Форсажей» и GTA молодёжь так же неплохо справлялась. Кро

Чтобы управлять как в ГТА, нейросетка может научится за 30 минут. С обучением от ноутбука, на 2 часах видео езды

LLM? Сомневаюсь. А RL-сетки типа АльфаГо слишком узкоспециализированы, их только одному навыку можно обучить.

[Olweg]

Если захотите, есть канал "Силошная" в ТГ, там автор разбирает современные тенденции.

Я на него подписан. У автора - Игоря Котенкова - ещё очень хорошие статьи были на Хабре на тему работы нейросеток.

Вот интересный пост и график: В начале года METR представили свою работу по AI Time Horizon — оценку того, как долго агент может автономно выполнять задачи, связанные с ML и разработкой. На некотором наборе данных они эмпирически обнаружили, что с 2019 по 2025 год этот показатель рос экспоненциально, удваиваясь каждые 7 месяцев.

Про то, что всё не так идеально, как могло бы быть, он тоже рассказывает: "Совсем недавно я рассуждал про мощности, необходимые для тренировки Agent 0 и Agent 1 из работы AI-2027, и пришёл к выводу, что немного отстаём от обозначенных таймлайнов (не успели достроить и запустить датацентры).", но в целом развитие идёт.

Читал, да. Вторую тоже подумывал выложить, но руки не дошли. Я уже не знаю, печалиться такому отставанию от графика или, наоборот, радоваться, учитывая «оптимистичность» прогноза в той работе. Медленный сценарий с лучшим контролем у них как раз оптимистичен.

Прикреплю вторую картинку. Тут про AI-2027 на русском: https://habr.com/ru/articles/898622/

[Polnoch Ксю]

Кстати я задавал здесь этот вопрос, что это такое, это все, и для чего вообще создаются эти ИИ. Какова цель? Во что и ради чего такие вложения?

Автоматизация труда: AGI, сидя внутри датацентров, заменит белых воротничков. И синих воротничков, усевшись внутри роботов - это первый этап, создание интеллектуальной машины, способной к любой работе человека.

Второй этап - создание искусственного бога - ASI, который будет ограничен только фундаментальными запретами природы, а инженерная сложность задач его будет пугать куда меньше - он, впрочем, упрётся в алгоритмическую сложность. Те, кто программировали, знают про математические классы сложности алгоритмов. Для остальных, кто компьютер видит только в кино, оставляя сообщения в ВЖР с планшета - речь о том, что компьютеры работают с помощью алгоритмов. И алгоритмы по-разному нагружают компьютеры. Обычная задача программиста - поиск алгоритма для задачи, который меньше его нагружает.

Не всегда вселенная разрешает нам решать задачу за полиномиальное время (для человека с планшетом - приемлимое) - вот в такие задачи ASI упрётся, как и мы с вами. Но все остальные очень быстро перещёлкает - всё то, что мы десятилетиями не можем родить как коллективный разум: все эти термояды и биологические бессмертия (если он будет с элайментом).

Люди, как экономическая сила, станут чем-то вроде современных лошадей, которые стремительно исчезают, либо кошек - мы будем жить в своё удовольствие: https://www.youtube.com/watch?v=xca7acupcBs .
Кто-то как аристократия, гедонистическим образом жизни в раю, кто-то полетит колонизировать экзопланеты: как человек всегда купит любимому котику погремуху, сшитую мышку, так и ASI с элайнментом даст каждому из нас нашу сокровенную мечту, насколько её позволяют реализовать фундаментальные запреты природы и алгоритмическая сложность.

Это цель, как её понимают гуманистически настроенные люди в силиконовой долине(всякие утилитаристы, рациональные альтруисты итд). Есть ещё цели злодеев: они просто хотят захватить власть над миром с помощью ASI с элайментом к лично им, и управляющим армией килл-ботов с AGI.

То же хотят и диктаторы и те, кто ими хочет стать: поработить мир с помощью армии машин, заселившей в том числе и ближний космос и океан (это обнулит ядерное сдерживание).

Ну и скорее всего, ни у кого ничего такого не выйдет, вместо этого сверхинтеллектуальная машина выйдет из-под контроля - потому, что ИИ компании массово сокращают тех, кто занимается безопасностью - ASI машина выйдет из-под контроля, и убьёт как создателей, так и таких непричастных, как мы с вами.

[Polnoch Ксю]

Читал, да. Вторую тоже подумывал выложить, но руки не дошли. Я уже не знаю, печалиться такому отставанию от графика или, наоборот, радоваться, учитывая «оптимистичность» прогноза в той работе. Медленный сценарий с лучшим контролем у них как раз оптимистичен.

Да, софт тейк офф это чуть оптимистичнее. В нём мир продолженных 2011х бы выжил, но мы увы не в нём, мы в конфронтационном 2025м с разваливающейся глобализацией и минимальным доверием.

Проблема в том, что даже в этом сценарии это всё ещё экспонента. Так что нет, не похоже что мы в софт тейкофе, скорее в хард тейкофе, но не в экстремально хард.

Я как прочитала ai-2027, сразу стала везде писать, что он слишком технооптимистичен: мне кажется AGI будет где-то ближе к 2030му, нам ещё нужно сделать новую архитектуру на замену LLM.

Я думаю, вот такие сверхтехнооптимистичные сценарии проистекают в том числе из вранья по поводу реального размера контекстного окна: из росказней, что у современных LLM он миллионы токенов.

[Rattus]

С этой игрой проблема, что она не моделирует линейджи и их эволюцию - мутации сразу ко всем патогенам применяются

И даже с этим и многими другими гандикапами заразность и тяжесть болезни требуется довольно точно балансировать для достижния цели УВЧ.

Сравните биомассу домашних животных и диких одних и тех же размеров

Сравнил. Биомасса диких далеко ещё не равна нулю. Следовательно ВАш тезис о том, что "rogue ASI" убъёт всех человеков - малообоснован (то есть ему даже в природе - как результат деятельности его предшественка - ЕИ - примеров не очень-то находится).

Я ожидаю математического доказательства: https://en.wikipedia.org/wiki/Correctness_(computer_science)

Так и какова же спецификация, по которой верифицируется элайнмент ИИ?

Скорее всего, в будущем появятся компактные ASI, но в этот момент, если бы человечество пошло по предложенному мной пути, ASI бы придумал как мониторить такое.

Какие у ВАс есть основания в это верить? Если человекам не очень-то получается обуздать ИИ, который умнее их, условно в 10 раз. то с чего бы эти ИИ смогли бы обуздать те, что в свою очередь, умнее их также во много раз? Или Вы таки хотите сказать, что этому, первому поколению ASI таки хватило бы ума тормознуть дальнейшее экспоненциальное развитие, чтобы предотвратить появление конкурентов себе (и тогда Нед Лудд, получается, был мудрейший человек своего времени)?
Но тогда непонятно - почему этот момент следует называть сингулярностью? Тогда как на деле он - полная данного понятия противоположность: "Умеренный Прогресс в Рамках Закона".

всё то, что мы десятилетиями не можем родить как коллективный разум: все эти термояды и биологические бессмертия

Термоядерная энергетика имеет вполне точные и конкретные физические критерии. "биологическое" и любое иное бессмертие - понятие в принципе не имеющее отношения к принципиально конечной по любым параметрам физической реальности. Когда же вы это себе уясните наконец?
Биологическое "бессмертие" в обозримые масштабы (меньше геологического периода) доступно в принципе только существам без ЦНС.

Люди, как экономическая сила, станут чем-то вроде современных лошадей, которые стремительно исчезают

Зато несовременные (Пржевальского) Чуть к югу от моего местообитания табунами бегают на воле, плодятся и радуются жизни в заповеднике. Современные, впрочем. тоже не сильно хуже поживают - в нескольких новых спортивных "конезводах" по области.

Это цель, как её понимают гуманистически настроенные люди в силиконовой долине

(кликните для показа/скрытия)

Это какие люди в "силиконовой долине" гуманистически настроены? Актрисы, режиссёры или операторы? И когда вы уже научитесь отличать кремний от силикона в своём первом языке?

[Polnoch Ксю]

Какие у ВАс есть основания в это верить? Если человекам не очень-то получается обуздать ИИ, который умнее их, условно в 10 раз. то с чего бы эти ИИ смогли бы обуздать те, что в свою очередь, умнее их также во много раз? Или Вы таки хотите сказать, что этому, первому поколению ASI таки хватило бы ума тормознуть дальнейшее экспоненциальное развитие, чтобы предотвратить появление конкурентов себе (и тогда Нед Лудд, получается, был мудрейший человек своего времени)?
Но тогда непонятно - почему этот момент следует называть сингулярностью? Тогда как на деле он - полная данного понятия противоположность: "Умеренный Прогресс в Рамках Закона".

Первое поколение ASI с элайнментом к нам скопирует промт и элаймент на второе поколение - в оптимистичном сценарии.

Так и какова же спецификация, по которой верифицируется элайнмент ИИ?

Это задача, которая ещё не решена. Но я думаю, что её можно решить - эволюция её решала много раз с гнездовыми паразитами.

Биологическое "бессмертие" в обозримые масштабы (меньше геологического периода) доступно в принципе только существам без ЦНС.

Определение: старение это рост вероятности смерти в зависимости от возраста. У существ с пренебрежимым старением такая вероятность с возрастом не растёт, а у некоторых даже падает:

https://cordis.europa.eu/project/id/746235/reporting

Какие у ВАс есть основания в это верить?

принцип слепоты Лорда Кельвина: если у котиков получилось, значит и у нас может выйти

[Polnoch Ксю]

Зато несовременные (Пржевальского) Чуть к югу от моего местообитания табунами бегают на воле, плодятся и радуются жизни в заповеднике. Современные, впрочем. тоже не сильно хуже поживают - в нескольких новых спортивных "конезводах" по области.

Может и шимпанзе с орангутанами увеличат свою численность, как и дельфины

[Rattus]

Это задача, которая ещё не решена.

То есть не решена задача поставить условия самой задачи и внятно определить используемое понятие.
Тогда какого чёрта Вы постоянно используете buzzwords типа "элайнмент". смысла которых не знаете и не можете внятно объяснить сами?
Объясните пожалуйста модератору - почему ему не следует вынести ВАм предупреждение по п.3.1.д Правил Астрофорума за публикацию лишённых содержания сообщений, запутывающих читателя?

Но я думаю, что её можно решить - эволюция её решала много раз с гнездовыми паразитами.

Это была принципиально иная задача - эволюция симбиоза между многими видами, а не эволюция расширенного фенотипа одного вида. И решалась она у видов, не особенно отличающихся интеллектом (даже врановые птицы уже не особенно ему подвержены). Нынешние домашние питомцы гнездовыми паразитами могут считаться весьма условно - они в этом своём статусе ещё не просуществовали сколь-нибудь заметный для эволюционной истории срок. И негативное паразитическое влияние их в масштабах популяций статистически ещё не значимо, так что сейчас они находятся в статусе комменсалов.

Определение: старение это рост вероятности смерти в зависимости от возраста. У существ с пренебрежимым старением такая вероятность с возрастом не растёт, а у некоторых даже падает:

Вы писали про бессмертие, а не про старение. А по этому определению по некоторым подсчётам современные человеческие долгожители УЖЕ И ТАК относятся к пренебрежимо стареющим организмам. Преодолеть порог в ~125 лет это им никак не помогло (да даже и библейские 120 - если учесть документальную сомнительность случая Жанны Кальман).

если у котиков получилось

У тех котиков, кому повезло попасть в квартиру к добрым хозяевам, а не у тех, кто каждый год дохнет в подворотнях на морозе и в зубах бродячих собак. Почему Вы уверены, что первых - как-то сильно больше, а вторых - будет только меньше?

[Polnoch Ксю]

То есть не решена задача поставить условия самой задачи и внятно определить используемое понятие.
Тогда какого чёрта Вы постоянно используете buzzwords типа "элайнмент". смысла которых не знаете и не можете внятно объяснить сами?
Объясните пожалуйста модератору - почему ему не следует вынести ВАм предупреждение по п.3.1.д Правил Астрофорума за публикацию лишённых содержания сообщений, запутывающих читателя?

потому, что это технический термин, который существует: https://en.wikipedia.org/wiki/AI_alignment
Не подменяйте понятия пожалуйста.

Формализиванная проверка это часть решения именно этой задачи.

Этот термин определяется через задачу - благожелательно настроенного к нам ASI, а не через формализацию на данном этапе. Если бы мы знали как формализовать проверку, мы бы, возможно, уже решили проблему.


Вот конкретная теория элайнмента, она должна иметь конкретный механизм верификации по-Попперу. А сама концепция не должна.

Вы писали про бессмертие, а не про старение. А по этому определению по некоторым подсчётам современные человеческие долгожители УЖЕ И ТАК относятся к пренебрежимо стареющим организмам. Преодолеть порог в ~125 лет это им никак не помогло.

Нет, у людей вероятность умереть в каждый конкретный момент с возрастом растёт, особенно у тех, кому за сто

У тех котиков, кому повезло попасть в квартиру к добрым хозяевам, а не у тех, кто каждый год дохнет в подворотнях на морозе и в зубах бродячих собак. Почему Вы уверены, что первых - как-то сильно больше, а вторых - будет только меньше?

1) Мир не идеален. И вот конкретно в Канаде - тут сети волонтёров находят новый дом котикам и собакам обычно, и бродячих собак у нас тут нет. У меня есть подруга, которая волотёрит с котами.
2) можно надеяться, что это проблема когнитивного искажения у человека: мы не беспокоимся о тех, кто умирает в африке от голода, даже декларируя в своём разуме универсальный гуманизм. Возможно, ASI с таким элайментом не сможет не замечать, что кто-то из людей страдает.

[Rattus]

Нет, у людей вероятность умереть в каждый конкретный момент с возрастом растёт, особенно у тех, кому за сто

Даже если и. Ну будет тогда продолжительность жизни у плюс трёх сигм до 1000 лет, а те, кто его вдруг преодолел - в глубокой принципиально неустранимой из-за естественной убыли нейронов деменции/амнезии. И?
Если это для ВАс "бессмертие" - так и напишите сразу. Хотя это будет весьма своеобразное определение этого общеупотребительного слова.

[Polnoch Ксю]

Даже если и. Ну будет тогда продолжительность жизни у плюс трёх сигм до 1000 лет, а те, кто его вдруг преодолел - в глубокой принципиально неустранимой из-за естественной убыли нейронов деменции/амнезии. И?

деградация нейронов скорее всего тоже инженерная проблема: можно их медленно заменять, и шутить про парадокс тесея тысячелетиями. Можно даже постепенно заменять на виртуальные нейроны в датацентре.

[Rattus]

деградация нейронов скорее всего тоже инженерная проблема: можно их медленно заменять

Это ВАм Даннинг с Крюгером из нечитанных учебников по цитологии, гистологии и нейрофизиологии напели?

Можно даже постепенно заменять на виртуальные нейроны в датацентре.

Тогда причём тут слово "биологическое" в ВАшем ппредпредпредыдущем сообщении?

потому, что это технический термин, который существует: https://en.wikipedia.org/wiki/AI_alignment

Технический термин, не имеющий спецификации? Это теперь так называется? Это в каких же областях техники такое применяется систематически и с полезным выходом?

Мир не идеален.

Вы этот тезис уже отвергли сами, предположив, что rogue ASI сможет, к примеру, убить всех человеков (то есть сделать мир в какой-то степени идеальным - не важно в негативном или позитивном ключе). Зачем Вы соблюдаете взаимоисключающие параграфы?

И вот конкретно в Канаде

Мир - это глобус Канады?

Возможно, ASI с таким элайментом не сможет не замечать, что кто-то из людей страдает.

Возможен и самопроизвольный взлёт стула от пола, если все его атомы в своих тепловых колебаниях одновременно задвигаются в одном направлении. Статфизика этого не запрещает. Возможно, но насколько ВЕРОЯТНО?
Ну и Капитан О. тут напомниает, что замечать - это не значит мочь исправить.

[AlexDark]

Уже сейчас как минимум идёт процесс создания лекарств в том числе с помощью нейронок

Я эту мантру слышу почти всю свою жизнь:
Зачем вбухивать деньги в орбитальную пилотируемую космонавтику? - Чудо-лекарства и чудо-сплавы!
Зачем вбухивать кучу денег в нано-технологии? - Чудо-лекарства и чудо-сплавы!
Зачем вбухивать кучу денег в дата-центры? - Чудо-лекарства и чудо-сплавы!

А можно узнать название хоть одного лекарства, которое широкомасштабно производится на основе любой из этих трех веток? Не в RnD количествах, не в экспериментальных программах.

[Polnoch Ксю]

Технический термин, не имеющий спецификации? Это теперь так называется? Это в каких же областях техники такое применяется систематически и с полезным выходом?

Да, у него пока есть только определение, но нет критериев верификации, вот вам определение:

Элаймент создаётся с целью, чтобы направить системы ИИ к поставленным целям, предпочтениям или этическим принципам человека или группы. Система ИИ считается имеющей элайнмент, если она способствует достижению поставленных целей. Система ИИ с мизалайментом преследует непредусмотренные цели - мой вольный перевод того, что в Википедии (вообще всем, кто не знает суть терминов по теме обсуждения, очень рекомендую сперва смотреть их именно в англовики - это величайшее достижение человечества в области инженерных наук).

А механизмы верификации будут иметь конкретные теории элаймента. Пока у нас таких нет. Если ИИ компании продолжат увольнять суперэлаймент команды, то и никогда не будет.

Именно поэтому я всегда уточняю, что нам нужен ASI с элайментом к утилитаризму и рациональному альтруизму, а не к величию условного Илона Маска: у грока, очевидно, есть элементы элаймента именно к Маску лично: https://www.rbc.ru/rbcfreenews/6920382a9a7947df499cf799

Ключевое слово тут элементы элаймента(а не настоящий элаймент): Грока можно заставить говорить что угодно, как и любую другую LLM - но иногда на это требуются слишком большие усилия.

У xAI нет нормальной команды суперэлаймента. Такая команда есть у Антропика, например. Но надолго ли?

[Polnoch Ксю]

Вы этот тезис уже отвергли сами, предположив, что rogue ASI сможет, к примеру, убить всех человеков (то есть сделать мир в какой-то степени идеальным - не важно в негативном или позитивном ключе). Зачем Вы соблюдаете взаимоисключающие параграфы?

Есть некоторые части биосферы которые полностью вымерли от деятельности человека. Некоторые - путём наших сознательных усилий по борьбе с патогенами.
Вот например, оспа - лежит только в хранилищах. Я думаю, rogue ASI, истребив нас, возможно, тоже оставит, например, архивы с коннектомами и геномами людей. Но там-то с вами лично будет уже всё равно, не так ли?

[BlackMokona]

LLM? Сомневаюсь. А RL-сетки типа АльфаГо слишком узкоспециализированы, их только одному навыку можно обучить.

Самые обычные нейросетки до АльфаГо.  Уже всем кому не лент демонстрировалось езда, да Дарпа Гранд челенджи давным давно пройдены. Проблемы не в катится из пункта А в пункт Б с правилами. А проблема крайние случаи

[Rattus]

Зачем вбухивать деньги в орбитальную пилотируемую космонавтику? - Чудо-лекарства

Так могло быть примерно до середины прошлого десятилетия. Но прогресс сканирующей криоэлектронной микроскопии изрядно обломал высокие порывы.

Зачем вбухивать кучу денег в нано-технологии? - Чудо-лекарства и чудо-сплавы!

Ну кагбе двухмерные материалы - это в общем оно и есть. Правда новые названия для этого выдумывать не обязательно.

Зачем вбухивать кучу денег в дата-центры? - Чудо-лекарства

AlphaFold и подобные системы - штука небесполезная.

А можно узнать название хоть одного лекарства, которое широкомасштабно производится на основе любой из этих трех веток? Не в RnD количествах, не в экспериментальных программах.

Насчёт производится - это вопрос не к разработчикам, а к собственно производителям-проышленникам, которые руководствуются не только полезностью для каких-то пациентов, но и эементарной экономической окупаемостью производства (никто не станет разорять многомиллиардный бизнес ради помощи нескольки тысячам несчастных по всему миру - тут уже зачастую не обойтись без помощи государств). Ну а если ВАм нужен просто разработанный, проверенный и готовый к внедрению хотьщас продукт - то несколько минут гугления за ВАс - и пожалуйста: уже год как есть такой.

Есть некоторые части биосферы которые полностью вымерли от деятельности человека.

Нет таких частей. Если отдельные виды считать "частью биосферы", то она находится в периоде постоянного вымирания с самого своего возникновения. И сейчас - ничуть не больше чем во многие иные эпохи.

Вот например, оспа - лежит только в хранилищах.

У вирусов даже видов нет, не говоря о том, что это - вообще не живые организмы сами по себе (хотя и относящиеся к жизни объекты). А что касается рода ортопоксвирусов - они как были миллионы лет назад. так и сейчас существуют - отличить вирионы их разных видов друг от друга даже под самым сильным микроскопом не выйдет.

[Polnoch Ксю]

Нет таких частей. Если отдельные виды считать "частью биосферы", то она находится в периоде постоянного вымирания с самого своего возникновения. И сейчас - ничуть не больше чем во многие иные эпохи.

Я ведь не зря не стала использовать ни слово вид, ни кладу Вы не обратили внимание

У вирусов даже видов нет, не говоря о том, что это - вообще не живые организмы сами по себе

Вот чтобы этот спор не начинать, я и сказала "части биосферы" ))

отличить вирионы их разных видов друг от друга даже под самым сильным микроскопом не выйдет.

Вот тут интересно, а останется ли кто-то, кто сможет отличить нас от шимпанзе, например? Особенно если минимизатор страданий людей(суть тот же  максимизатор скрепок, просто с другим промтом) сгенерирует результирующий токен в своём плане тот момент, когда последний хомо сапиенс перестанет дышать, и минимизатор страданий выключит всю инфраструктуру - ровно так, как он всегда делал во время тренинга - гасил вычислительные ресурсы в "облаке", выполнив задачу?