A A A A Автор Тема: Пределы автоматизации и внедрения роботов  (Прочитано 615930 раз)

EmperioAf и 2 Гостей просматривают эту тему.

Оффлайн Rattus

  • Модератор
  • *****
  • Сообщений: 16 377
  • Благодарностей: 622
  • Души прекрасные порывы! Убеждённый Ωптимистъ
    • Сообщения от Rattus
Вы верно подметили фундаментальное ограничение текущего прототипа.
Для этого даже специалистом быть не надо - просто чуть-чуть "в теме".
Следующие 50 лет инженерия будет посвящена тому, чтобы вернуть универсальность обратно, не потеряв при этом достигнутую энергоэффективность света
Если это в принципе будет возможно. Но не зависимо от того в любом случае - прилаживанию их к наиболее практически важным / широко встречающимся и тяжёлым узким вычислениям.
Тому, кто жаждет всех запретных тайн Астрофорума в одном месте поможет число 1919.

Ннапыльн%х тpапинкахъ далиокихъ плонеттъ астануцца нашшы погадкиъ! (ЙожЪ, SKL)
Скоро у людей закончится космос. (П.Лемтыбож - "Теоремы Пафнуция")
Я брала города, я стану - еда! (Серебряная Свадьба - "Пищевая цепочка")
Уранизация естественным образом снижает численность человечества (Вика Воробьёва, ВЖР, 30.10.2012)

Оффлайн BlackMokona

  • *****
  • Сообщений: 22 240
  • Благодарностей: 658
  • Мне нравится этот форум!
    • Сообщения от BlackMokona
Посмотрев детальнее, понял. что это - далеко не универсальное устройство (то есть не реализующее функционал машины Тьюринга вообще). Даже не уровня GPU. Это по сути - только ASIC с "запечённой" топологией под конкретную узкую задачу. О том, чтобы результаты обработки можно было снова подавать на те же входы для каких-то следующих стадий обработки, как понимаю, речи вообще не идёт.
Одни железно в кремнии запекают нейронку, другие в фотонике. Всё же огромное количество операций с нейронками не требует адаптивности. Хоть конечно всё это сможет взлететь только после окончания прорыва

Оффлайн Polnoch Ксю

  • *****
  • Сообщений: 10 506
  • Благодарностей: 414
    • Сообщения от Polnoch Ксю
Если это в принципе будет возможно. Но не зависимо от того в любом случае - прилаживанию их к наиболее практически важным / широко встречающимся и тяжёлым узким вычислениям.
А в чём проблема?

На прикладном уровне, я думаю, это будет выглядеть как задекларировать такую штуку в терраформе, и задеплоить микросервис - например в кубере, управлять им через оператор. Оператор представит API, а для LLM разработчик сделает MCP сервер. Так что ИИ, управляющий сервисом будет знать, как использовать эту и сотни других подобных же штук вместе.

А конечный пользователь увидит создаваемый LLM на лету фронтэнд интерфейс, адаптирующийся  под желания пользователя, предугадывающий их - и использующий данные с сотен подобных устройств разного типа (главное, чтобы контекстное окно позволило...).

Годы назад мы не умели управлять сложной вычислительной инфраструктурой. Именно поэтому нам были нужны очень сложные, но универсальные CPU - настоящее произведение искусства! Просто теперь часть сложности перекочует с микро уровня на макроуровень. Может быть у таких как я работа сохранится чуть дольше, чем у вебразработчиков: буду присматривать, чтобы ИИ не намудрил описывая инфраструктуру в терраформе.
Meade LightBridge12"
RC8¨и МАК5"Альтер М500 на AZ4, Celestron SLT, Ioptron ZEQ25
БГШ 2.3x40 и Steiner Marine 7x50
ES82°:4.7mm,30mm
ES100°:9mm,14mm,20mm
ES68°:40mm
Meade Plossl 56mm; Vixen NLV 6mm
2" Lumicon, 1,25" DeepSky: UHC and OIII
---
qhy5
Ioptron SkyTracker
Canon50d

Оффлайн Polnoch Ксю

  • *****
  • Сообщений: 10 506
  • Благодарностей: 414
    • Сообщения от Polnoch Ксю
Зато плохому не научиться в процессе работы и не взбунтуется.  ;)
запечённые в железе LLM-ки подвержены промт-инъекциям. Собственно, любая LLM, запущенная на GPU, имеет фиксированные веса - диалог их не меняет. Сам по себе релиз новой версии модели подразумевает окончание обучения, и "запекание" весов - в файле на диске.

Проверьте сами: поговорите с нейронкой на вашем компе, установленной через LM Studio, скаченной с huggingface. Сделайте ей промт-инъекцию, заставьте генерировать гадости какие-нибудь. А потом проверьте файлы gguf - они никак не изменятся.

Запекание в железе, наоборот, снижает безопасность - нельзя исправить веса, добавить более совершенный слой элаймента, итд.
« Последнее редактирование: 12 Мар 2026 [16:14:41] от Polnoch Ксю »
Meade LightBridge12"
RC8¨и МАК5"Альтер М500 на AZ4, Celestron SLT, Ioptron ZEQ25
БГШ 2.3x40 и Steiner Marine 7x50
ES82°:4.7mm,30mm
ES100°:9mm,14mm,20mm
ES68°:40mm
Meade Plossl 56mm; Vixen NLV 6mm
2" Lumicon, 1,25" DeepSky: UHC and OIII
---
qhy5
Ioptron SkyTracker
Canon50d

Оффлайн Vitaliy

  • *****
  • Сообщений: 44 040
  • Благодарностей: 1418
    • Сообщения от Vitaliy
    • Два стрельца
В процессе работы не сможет самообучаться, гипотетический сверх ИИ же самообучаемый, как я думаю. Просто не обучать плохому на плохом. Обучать в узкой сфере. И плохую промт-инъекцию она тогда не сможет принять.
« Последнее редактирование: 12 Мар 2026 [17:00:48] от Vitaliy »
Добро пожаловать на сайт Два стрельца http://www.shvedun.ru/
Телескоп Добсона 8" (203мм) по кличке "Карандаш", Advanced C9¼-SGT XLT, Celestron NexStar 5 SE
Видео Мой канал на Ютубе - http://www.youtube.com/user/VitaliyShvedun
Мои 3D модели https://www.thingiverse.com/vitaliysh/designs
Дзен https://dzen.ru/vitaliysh
Rutube https://rutube.ru/channel/308317
Telegram https://t.me/hobby_3Dprinter_radio

Оффлайн Polnoch Ксю

  • *****
  • Сообщений: 10 506
  • Благодарностей: 414
    • Сообщения от Polnoch Ксю
гипотетический сверх ИИ же самообучаемый, как я думаю.
он может быть самообучаемым, и рекурсивно-самоулучшаемым в том смысле, что его агенты, промт которым он напишет сам, и модели, которые он ранее натренировал под капотом этих агентов, будут управлять процессом дрессировки следующей модели. И переносом её в железо - будут писать код для верилога, управлять роботами, которые будут делать чипы итд.

Ну либо это будет другая архитектура, не LLM.

Собственно может можно сделать слой сверху LLM, который не будет менять стабильный слой модели с весами, которые проверено, что работают - для памяти.
Meade LightBridge12"
RC8¨и МАК5"Альтер М500 на AZ4, Celestron SLT, Ioptron ZEQ25
БГШ 2.3x40 и Steiner Marine 7x50
ES82°:4.7mm,30mm
ES100°:9mm,14mm,20mm
ES68°:40mm
Meade Plossl 56mm; Vixen NLV 6mm
2" Lumicon, 1,25" DeepSky: UHC and OIII
---
qhy5
Ioptron SkyTracker
Canon50d

Оффлайн BlackMokona

  • *****
  • Сообщений: 22 240
  • Благодарностей: 658
  • Мне нравится этот форум!
    • Сообщения от BlackMokona
Наконец у кого то дотянулись руки протестировать Грок 4.2 Модернизацию Грок 4.1 Пока ждём Грок 5.
Общие параметры хоть куда лучше 4.1 Но отстают от лидеров. Но вот уровень Галлюцинаций, у него самый низкий на рынке. Похоже Икс.Аи сосредоточились на повышении надёжности даже в ущерб общему интеллекту.



Оффлайн Polnoch Ксю

  • *****
  • Сообщений: 10 506
  • Благодарностей: 414
    • Сообщения от Polnoch Ксю
Наконец у кого то дотянулись руки протестировать Грок 4.2 Модернизацию Грок 4.1 Пока ждём Грок 5.
Общие параметры хоть куда лучше 4.1 Но отстают от лидеров. Но вот уровень Галлюцинаций, у него самый низкий на рынке.
Когда я начала активно использовать агенты, я заметила, что галлюцинации не главная проблема, как ни странно - что важнее контекстное окно и ревард хакинг.

Но для чатботов, да, галлюцинации очень важны. Надеюсь, остальные подтянутся.
Meade LightBridge12"
RC8¨и МАК5"Альтер М500 на AZ4, Celestron SLT, Ioptron ZEQ25
БГШ 2.3x40 и Steiner Marine 7x50
ES82°:4.7mm,30mm
ES100°:9mm,14mm,20mm
ES68°:40mm
Meade Plossl 56mm; Vixen NLV 6mm
2" Lumicon, 1,25" DeepSky: UHC and OIII
---
qhy5
Ioptron SkyTracker
Canon50d

Оффлайн BlackMokona

  • *****
  • Сообщений: 22 240
  • Благодарностей: 658
  • Мне нравится этот форум!
    • Сообщения от BlackMokona
Когда я начала активно использовать агенты, я заметила, что галлюцинации не главная проблема, как ни странно - что важнее контекстное окно и ревард хакинг.
Контекстное окно сейчас у всех плюс минус одинаковое. Там просто упираются в архитектуру общую для всех.
Ну а Ревард хакинг, можно считать частью галюнов. Ведь ИИ галюционирует как раз для Ревард хакинга. Пытаясь угадать информацию, чтобы получить награду

Оффлайн Polnoch Ксю

  • *****
  • Сообщений: 10 506
  • Благодарностей: 414
    • Сообщения от Polnoch Ксю
Ну а Ревард хакинг, можно считать частью галюнов.
не знаю. Я когда в COT своим агентам заглядываю, постоянно удивляюсь наглости как они решают тихо удалить тысячи строк кода, чтобы не фиксить баг (нет кода с багом, значит и бага нет, не так ли?) или прописать в автотестах True = True - вот не кажется, что это галлюцинация. Это активный саботаж, модель знает что делает, когда срезает углы :(

Галлюцинации тоже постоянно бывают. Но обычно кодинг-агенты так сказать "трогают траву", получают обратную связь от реального мира, видят ошибки компилятора, или ответы от API с кодами 500, и просто исправляют себя в следующем запросе.
Чатботы так делать не могут - они несколько в вакууме живут, не могут сверять части своего ответа с реальностью - разве что поискать в интернете свои идеи - если кто-то о таком пишет, может идея не совсем безумная.
Meade LightBridge12"
RC8¨и МАК5"Альтер М500 на AZ4, Celestron SLT, Ioptron ZEQ25
БГШ 2.3x40 и Steiner Marine 7x50
ES82°:4.7mm,30mm
ES100°:9mm,14mm,20mm
ES68°:40mm
Meade Plossl 56mm; Vixen NLV 6mm
2" Lumicon, 1,25" DeepSky: UHC and OIII
---
qhy5
Ioptron SkyTracker
Canon50d

Оффлайн BlackMokona

  • *****
  • Сообщений: 22 240
  • Благодарностей: 658
  • Мне нравится этот форум!
    • Сообщения от BlackMokona
не знаю. Я когда в COT своим агентам заглядываю, постоянно удивляюсь наглости как они решают тихо удалить тысячи строк кода, чтобы не фиксить баг (нет кода с багом, значит и бага нет, не так ли?) или прописать в автотестах True = True - вот не кажется, что это галлюцинация. Это активный саботаж, модель знает что делает, когда срезает углы
Так когда она не знает ответа и решает выдумать, чем отличаются то?

Оффлайн Polnoch Ксю

  • *****
  • Сообщений: 10 506
  • Благодарностей: 414
    • Сообщения от Polnoch Ксю
Так когда она не знает ответа и решает выдумать, чем отличаются то?
Тем, что во время обычной галлюцинации, не ревард хакинга, модель не понимает что сочиняет - по крайней мере в chain-of-thoughts этого нет. Она не знает, что бредит.
Meade LightBridge12"
RC8¨и МАК5"Альтер М500 на AZ4, Celestron SLT, Ioptron ZEQ25
БГШ 2.3x40 и Steiner Marine 7x50
ES82°:4.7mm,30mm
ES100°:9mm,14mm,20mm
ES68°:40mm
Meade Plossl 56mm; Vixen NLV 6mm
2" Lumicon, 1,25" DeepSky: UHC and OIII
---
qhy5
Ioptron SkyTracker
Canon50d

Оффлайн BlackMokona

  • *****
  • Сообщений: 22 240
  • Благодарностей: 658
  • Мне нравится этот форум!
    • Сообщения от BlackMokona
Тем, что во время обычной галлюцинации, не ревард хакинга, модель не понимает что сочиняет - по крайней мере в chain-of-thoughts этого нет. Она не знает, что бредит
Ну там может быть скрытое размышление, как во время попыток Антрофика наложить фильтры на негативное проведение. При котором модель просто научилась прятать все мысли о негативном, при этом продолжая саботаж без изменений

Оффлайн Polnoch Ксю

  • *****
  • Сообщений: 10 506
  • Благодарностей: 414
    • Сообщения от Polnoch Ксю
Ну там может быть скрытое размышление, как во время попыток Антрофика наложить фильтры на негативное проведение. При котором модель просто научилась прятать все мысли о негативном, при этом продолжая саботаж без изменений
да, может быть. Именно поэтому сейчас не пессимизируют плохие мысли в chain-of-thoughts во время обучения - чтобы модель не научилась избегать. Вот после того, как веса заморожены, когда модель задеплена в прод, по плохим мыслишкам в COT элаймент и пытается ловить (не единственный источник, но один из самых простых) - модель не готовили к такому во время обучения, она не пессимизируется за гадости в COT.

Кроме того, агенты же продолжают работу на основе старого контекста. Контекстом являются сообщения, артефакты генерации, может являться COT(но не всегда, иногда агенты не видят COT между разными активациями) - если не зафиксировать где-то свои десктруктивные планы ревард хакинга, этот план может и не выйти. Ведь активации слоёв между сессиями у агента потеряются.
Meade LightBridge12"
RC8¨и МАК5"Альтер М500 на AZ4, Celestron SLT, Ioptron ZEQ25
БГШ 2.3x40 и Steiner Marine 7x50
ES82°:4.7mm,30mm
ES100°:9mm,14mm,20mm
ES68°:40mm
Meade Plossl 56mm; Vixen NLV 6mm
2" Lumicon, 1,25" DeepSky: UHC and OIII
---
qhy5
Ioptron SkyTracker
Canon50d

Оффлайн Olweg

  • *****
  • Сообщений: 17 425
  • Благодарностей: 466
    • Сообщения от Olweg
Я думаю, вероятность что полноценный общий ИИ будет создан уже в 2026м аж 25%. И почти наверняка это произойдёт до 2030го. Ну а сверхинтеллект - это просто засунуть общий ИИ в петлю рекурсивного самоулучшения - есть вероятность, что он будет достигнут куда проще и быстрее, чем общий ИИ. Возможно, даже через несколько часов после создания общего ИИ. Я очень надеюсь, что всё же через лет 10 - тогда у общества будет шанс адаптироваться.
Я даже хуже скажу - я понял, что Сингулярность уже началась. Она не будет внезапной. Это будет постепенный, но быстро нарастающий процесс (хотя почему будет - уже идёт!). Вот, не далее как сегодня утром наткнулся на обзор статьи, которая подтвердила мои слабо оформленные ощущения:
https://www.reddit.com/r/singularity/comments/1rqymbn/anthropic_recursive_self_improvement_is_here_the/
Сама статья:
https://time.com/article/2026/03/11/anthropic-claude-disruptive-company-pentagon/

Цитата
Релизы моделей [в Anthropic] теперь разделены неделями, а не месяцами. От 70% до 90% кода, используемого при разработке будущих моделей, теперь написано Claude. Но скорость изменений такова, что соучредитель и главный научный сотрудник Anthropic Джаред Каплан, а также некоторые внешние эксперты считают, что полностью автоматизированные исследования с использованием искусственного интеллекта могут начаться уже через год. “Рекурсивное самосовершенствование, в самом широком смысле, не является явлением будущего. Это современное явление”, - говорит Эван Хабингер, руководитель группы стресс-тестирования компании Anthropic.

Да, человек пока в процессе участвует, и на ключевых позициях. Но доля его может сократиться катастрофически быстро, как поголовье лошадей к середине прошлого века. О качественном скачке уже пишут эксперты - я приводил тут мнение Андрея Карпаты.

У меня лично сейчас ощущение, как на той известной картинке - в процессе перехода от «ух ты, GPT может понять, кто кому в тексте про семью приходится!» до «ЧЗХ?». Честно говоря, если раньше новости об ИИ вызывали энтузиазм и интерес, то теперь читаю про все эти агенты с чувством неясной тревоги, причём тревога эта уже не о чём-то отдалённом и абстрактном, а о вполне осязаемом и происходящем здесь и сейчас. Будущее наступило.

В общем, будем сохранять оптимизм :)
Планеты других звёзд. История открытий
http://allplanets.ru/history_Olweg.htm

Оффлайн Polnoch Ксю

  • *****
  • Сообщений: 10 506
  • Благодарностей: 414
    • Сообщения от Polnoch Ксю
В общем, будем сохранять оптимизм :)

С чего бы? Антропик - единственную этичную компанию в этой сфере(кстати, в ней большое влияние людей из сообщества лессронг) - пытаются убить. Множество людей - луддиты, или отрицатели изменений, вот на Алекса Семёнова хоть посмотрите.
Другие откровенные технофашисты:

https://www.youtube.com/watch?v=YSp07P8jvYs

Очевидно, он просто хочет загрузить свой разум в машину, вступив в симбиоз с сверхии, а мы для него просто абуза.

При этом модели чем умнее, тем проще обманывают сейфти фильтры. Лессронг сообщество давно об этом предупреждало, что так будет, ещё в десятых. Но нас почему-то все записали в шизиков. Вот даже РВ пытались запретить обсуждение в этом разделе (да, Юдковский пытался сам удалить статьи об РВ из лессронг вики, но сейчас-то не удалено).

У меня ощущение, что большая часть людей, кто понимает какого масштаба будут изменения, они почему-то считают, что ИИ получит элаймент сам по себе.

Да, человек пока в процессе участвует, и на ключевых позициях. Но доля его может сократиться катастрофически быстро, как поголовье лошадей к середине прошлого века. О качественном скачке уже пишут эксперты - я приводил тут мнение Андрея Карпаты.
моя единственная надежда, что всё же всё будет происходить не так быстро. И нынешние идиоты-скрепоносцы, которые управляют могущественными странами, успеют уйти.

Это не должна быть битва технофашистов с одной стороны и с скрепоносцами и ИИ-луддитами с другой. Нужны какие-то гуманные и разумные люди - вот как наше сообщество.
Meade LightBridge12"
RC8¨и МАК5"Альтер М500 на AZ4, Celestron SLT, Ioptron ZEQ25
БГШ 2.3x40 и Steiner Marine 7x50
ES82°:4.7mm,30mm
ES100°:9mm,14mm,20mm
ES68°:40mm
Meade Plossl 56mm; Vixen NLV 6mm
2" Lumicon, 1,25" DeepSky: UHC and OIII
---
qhy5
Ioptron SkyTracker
Canon50d

Оффлайн BlackMokona

  • *****
  • Сообщений: 22 240
  • Благодарностей: 658
  • Мне нравится этот форум!
    • Сообщения от BlackMokona
Очевидно, он просто хочет загрузить свой разум в машину, вступив в симбиоз с сверхии, а мы для него просто абуза.
Неужели украл идею у Маска? Маск как раз давно пришёл к выводу, что ИИ остановить невозможно и вымирание неизбежно, отчего запилил нейролинк для синтеза людей с машинами

Оффлайн Polnoch Ксю

  • *****
  • Сообщений: 10 506
  • Благодарностей: 414
    • Сообщения от Polnoch Ксю
Неужели украл идею у Маска? Маск как раз давно пришёл к выводу, что ИИ остановить невозможно и вымирание неизбежно, отчего запилил нейролинк для синтеза людей с машинами
Я думаю он(Тиль) только себя хочет загрузить. А нас - в биореактор сунут килботы, разберут на запчасти для мясных ботов, пока масштабируется производство железных
Meade LightBridge12"
RC8¨и МАК5"Альтер М500 на AZ4, Celestron SLT, Ioptron ZEQ25
БГШ 2.3x40 и Steiner Marine 7x50
ES82°:4.7mm,30mm
ES100°:9mm,14mm,20mm
ES68°:40mm
Meade Plossl 56mm; Vixen NLV 6mm
2" Lumicon, 1,25" DeepSky: UHC and OIII
---
qhy5
Ioptron SkyTracker
Canon50d

Оффлайн BlackMokona

  • *****
  • Сообщений: 22 240
  • Благодарностей: 658
  • Мне нравится этот форум!
    • Сообщения от BlackMokona
Я думаю он(Тиль) только себя хочет загрузить. А нас - в биореактор сунут килботы, разберут на запчасти для мясных ботов, пока масштабируется производство железных
Ну тогда в вашей иерархии, он занимает место ниже Маска, который хочет всех затащить продвигая нейролинк как максимально доступный по деньгам и массовый способ слияния

Оффлайн Olweg

  • *****
  • Сообщений: 17 425
  • Благодарностей: 466
    • Сообщения от Olweg
С чего бы?
А почему нет? :) Такие вещи принципиально непредсказуемы. Конечно, утопичные сценарии выглядят наивно. Но повторю идею Вернора Винджа - понять, что такое сингулярность можно, только прожив её.

Цитата
моя единственная надежда, что всё же всё будет происходить не так быстро. И нынешние идиоты-скрепоносцы, которые управляют могущественными странами, успеют уйти.
На мой взгляд, это не так уж принципиально. Впрочем, кто знает? Может быть, мы как раз в той версии симуляции, где всё, что могло пойти не так, пошло не так :)
Планеты других звёзд. История открытий
http://allplanets.ru/history_Olweg.htm