Пределы автоматизации и внедрения роботов

[Mercury127]

Может, выделим Семёнову отдельную тему в Клубе? Там как раз сейчас востребованы плакаты и лозунги времён Крокодила...

[Rattus]

Не предвидится в ближайшие 100-150 лет (а то и все 300) никакой Технологической Сингулярности!

Значит не предвидится никогда. Графики функций не настолько резиновые.

[BlackMokona]

Не предвидится в ближайшие 100-150 лет

В данный момент большинство экспертов дают сроки класс уже почти почти, а то и уже сингулярность в процессе.
Моя точка зрения, мы на краю пропасть у Сингулярности и она может начаться в любой момент времени. Буквально там уже никаких преград не осталось, вопрос лишь дорастания жирка. А его расстят такими темпами, что всякие Манхетонские проекты, супер стройки, Лунные гонки и индустриализации, даже рядом не стояли по масштабу выделяемых ресурсов

Например

Анализ программы "Аполлон" оценивает общую стоимость в $257 миллиардов в долларах 2020 года

Это даже не половина уже выделенных денег, от несколькими крупных американских компаний связанных с ИИ, за этот год. Чисто на инфраструктуру, без учёта РНД и прочего

[alex_semenov]

В данный момент большинство экспертов дают сроки класс уже почти почти, а то и уже сингулярность в процессе.

Эти все эксперты - ДОЛБОДЯТЛЫ. Все до единого. А скорей всего - мошенники.

Не предвидится в ближайшие 100-150 лет (а то и все 300) никакой Технологической Сингулярности!

Значит не предвидится никогда. Графики функций не настолько резиновые.

Мы ТОЛЬКО в середине Научно-Технической Революции. А резионвые там у вас графики или нет - это не важно.

[Combinator]

Моя точка зрения, мы на краю пропасть у Сингулярности и она может начаться в любой момент времени.

В статье в Nature, написанной, если не ошибаюсь, в начале 60-х годов прошлого века, вычислена красивая дата - 13.11.2026 (пятница, 13!).

[BlackMokona]

Эти все эксперты - ДОЛБОДЯТЛЫ. Все до единого. А скорей всего - мошенники.

Да тут всё можно самому попробывать, ручками. Погоняйте его по задачам, покрутите и тд.
Текущий топ Клауд, потом Дженеми.

[Olweg]

Не предвидится в ближайшие 100-150 лет (а то и все 300) никакой Технологической Сингулярности! Кишка у нас тонка! Даже если предсказанное возможно (полноценный сильный ИИ превосходящий по умственным способностям всё человечество) - НЕ В ЭТОЙ ЖИЗНИ! Это возможно только в ФИНАЛЕ Научно-технической ступеньки перехода. Как вишенка на торте. Последняя точка. Но мы всё еще в СЕРЕДИНЕ этого перехода.

Сингулярность - это по определению период максимального, почти вертикального ускорения прогресса. Как же она может случиться в финале перехода, когда уже начнётся выход на полку?

В статье в Nature, написанной, если не ошибаюсь, в начале 60-х годов прошлого века, вычислена красивая дата - 13.11.2026 (пятница, 13!).

Да, думаю, если ребята и промахнулись, то не больше чем на пару-тройку лет )

[Konstantin Schtsch]

но даже в оригинальной высокоэнтропийной форме никаких намёков ни на код, ни на структуру не просматривается. больше всего это похоже на голограмму, где каждый пиксель содержит информацию сразу обо всём и в тоже время ни о чём...

На первый, и даже не самый первый взляд вы правы. Именно так это всё выглядит для непосвященного. И именно этим щеголяют паникёры "Нам никак не узнать о чем ИИ думает!"

Однако это вовсе не значит что эти веса нельзя читать, или что там нет сруктуры. Всё там есть, и связи и вектора, и близкие понятия будут на близких векторах.

Не понравилось рассматривать заархивированное изображение и хотите алгоритмов? попробуйте открыть exe файл хекс-радактором. результат такой же- белый шум.
Но стоит открыть бинарный файл декомпилятором - и вот уже стройные строчки кода. (Вот тут можно поинтересоваться, а много ли людей на планете понимают что-то в строчках кода? а в строчках ассемблера? )

При работе с большими объёмами данных - вам вряд ли что-то даст рассматривание под лупой одной случайной строчки. Вы, наверное, станете смотреть сводки, анализ, статистические выборки. По запросу.
А дампы LLM - это те самые большие данные. И в режиме отладки вы можете отслеживать весь путь запроса, и даже заказать выборку всех параметров, повлиявших на ответ. Их будет ооочень много, но не все сразу.

Поэтому повторюсь: для каждого формата- свой инструмент, свой декодер. И свой масштаб.

[BlackMokona]

Однако это вовсе не значит что эти веса нельзя читать, или что там нет сруктуры. Всё там есть, и связи и вектора, и близкие понятия будут на близких векторах.

Читать можно, но толку? Нейросети огромные, становяться только больше и связи только запутаннее

[Konstantin Schtsch]

Читать можно, но толку? Нейросети огромные, становяться только больше и связи только запутаннее

Читать - абсолютно без толку. Если вспомнить что всего 13 лет назад вся флибуста с мировой классикой и фантастикой влезала на один DVD 4,5гб (остальное на сегодня - понаписюкали графоманы)
то прочитать дамп - задача на порядки сложнее чем прочесть все книги мира на 2012г.
Читать - оно и никому не нужно.
Нужно- разбираться в архитектуре модели, в принципах формирования весов.  Тогда логи формирования ответа будут иметь для вас смысл. То самое "о чем думал ИИ, когда писал эту хрень?"

Интернет- тоже с каждым днем огромнее, уж точно поболее модели, но найти конкретную статью становится с каждым днем легче.   
Всему свой инструмент. И каждому инструменту- руководство по эксплуатации... ну а для некоторых - ещё и ученая степень как порог входа, есть и такие.

[Polnoch Ксю]

Не предвидится в ближайшие 100-150 лет (а то и все 300) никакой Технологической Сингулярности! Кишка у нас тонка! Даже если предсказанное возможно (полноценный сильный ИИ превосходящий по умственным способностям всё человечество) - НЕ В ЭТОЙ ЖИЗНИ! Это возможно только в ФИНАЛЕ Научно-технической ступеньки перехода. Как вишенка на торте. Последняя точка. Но мы всё еще в СЕРЕДИНЕ этого перехода.
Толстосумые дебилы спешат ибо чуют что конец их эпохи. Чуют явную катастрофу (запах был еще в Римском клубе 1960-1970х, слышали звон но не знали где он). За ИИ они схватились как утопающий за соломину. Но зачем же за ними повторять и заниматься глупостями сейчас? Не о том ваши страхи. Ой не о том!!! Хотя, да, очень страшно... Действительно СЕЙЧАС - страшно. Но "повесточка" - совсем не о том!

Я думаю, Вы, Алекс, обманули сами себя, как и остальные неомальтузианцы ВЖР. Вы наступили на грабли тех, кто беспокоился о том, что Лондон утонет в навозе.

На самом деле, никакого замедления прогресса никогда не было. Я давно разбирала это - это психологический эффект обесценивания того ресёча, который мы прочитать не можем, не успеваем. Так как человечество производит всё больше науки, нам хочется думать, что вся она - мусор, ведь мы не знаем о чём она.

В сценарии, в котором прогресс останавливается, неомальтузианцы были бы правы. Как и предсказатели захлебывания в навозе лондонцев. Но идея о том, что НТР мертва - это безумный бред, рождённый из-за когнитивного искажения.

Мы даже пик нефтегаза никак не пройдём, а вы уже хороните нашу цивилизацию. Единственные, кто может её прикончить - злобные дураки-антиглобалисты, которые устраивают конфронтацию в мире с ИИ и ядерным оружием. И собственно, агентский ASI, выросший в таком мире

Владение оружием и вождение автомобилей лицензируется только по факту взятия под контроль физического предмета -

Неужели Вы не понимаете, что rogue AGI (мы даже не говорим об ASI в этом сценарии) сломавший Ваши устройства, аккаунты имеет миллионы способов сломать Вам жизнь? От отправки письма от Вашего имени о том, что вы что-то там заминировали, до перевода Ваших денег ИГИЛ? Сломать жизнь Вам и другим людям. Не говоря о том, что зная Вас хорошо, он может, например, удалить роман который Вы десять лет писали в стол с Ваших устройств и даже из бэкапа с облачного диска, или уничтожить Вас другим образом.

А не из-за бездумного проедания (рассеяния) невозобновимых ресурсов в период потребительского глобализма - нет-нет - ни в коем разе такого быть не может!

Не может, да. Вот лет через 500, если с Земли не улетать - может быть. Но мне сложно себе представить сохранение НТР и самозапирание человеко-машинной или машинной цивилизации на Земле.

Насколько принципиальна? Вы этого так и не разъяснили.

ASI как орехи будет щёлкать такие инженерно сложные задачи, которые фундаментально возможны, но нам не даются: например термояд

[Polnoch Ксю]

Текущий топ Клауд, потом Дженеми.

Codex-5.3 очень неплох. По-моему всё-таки лучше opus-4.6. Я всё равно часто использую claude code, но из-за UI с сабагентами: планирую новый большой патч-подпроект с помощью gpt-5.2-pro-high и codex-5.3-high, и opus-4.6 - три независимых плана. В процессе помогаю им понимать задачу лучше. Машина генерирует детальный план, который потом комбинируется.

И дальше его исполняют 5-10 субагентов(sonnet-4.5) в claude code - пишут параллельно небольшие патчи, дебажат их в CI/CD системе. Отдельно есть модель (opus-4.6) которая следит за тем, чтобы не было ревард хакинга.

Обычно это всё же остаётся в несколько недописанном виде, и тогда я отдаю работу codex-5.3, и он её доделывает, додебаживает

[Polnoch Ксю]

Никакой ошибки - это Вы постулируете, что этот самый ASI возникает в единственном экземпляре и этим же экземпляром умудряется довести цивилизацию до цугундера, не встретив никакого соразмерного конкурентного сопротивления.

А я уже объясняла:
https://astronomy.ru/forum/index.php/topic,130794.msg6478549.html#msg6478549

Опыт же нам показывает, что в случаях задач на предсказание точного локального поведения реальных сложных систем глобального масштаба - начиная с погоды на определённой территории - могучие вычислительные системы, специализированные на этой задаче, анализирующие входящие данные в миллиарды раз быстрее людей-профессионалов, удовлетворительный прогноз дать способны не более чем на порядок дальше, чем делает человек, посмотрев на небо

Ещё одна ошибка. Вам не нужно моделировать поведение сложной системы далеко в будущее, вам нужно интерактивно ею управлять: человек может эффективно управлять десятком-других подчинённых. А rogue ASI сможет эффективно управлять миллиардами людей. И на более глубоком уровне: в ход пойдут и морковки(да хоть обычный честный найм. Просто исполнитель не знает настоящих целей) и кнуты-компроматы, собранные из бигдаты, и простой обман/социальная инженерия. Для этого не нужно детально прогнозировать отдалённое будущее - нужно лишь иметь высокоуровневый план, может несколько более детальный чем тот, на что способны люди, но главное - ASI будет проактивно реагировать, осуществляя этот план - меняя давление на каждого человека, когда нужно. Для этого детально просчитывать хаотическую систему не нужно.

Человек может играть на 88 клавишах пианино, а rogue ASI сможет играть на 6 миллиардах людей. Даже если с какими-то отдельными людьми у него и не выйдет, с большинством всё получится. И тактический план он будет перестраивать, может быть, каждую микросекунду - так что он будет полагаться на детальную, и неточную модель будущего хаотического мира может быть куда меньше чем полагаются люди.

Ему нужна только более-менее точная модель текущего мира, понимание его закономерностей, и реалитичное состояние мира, куда он хочет его трансформировать(цель), а не детальный прогноз развития мира в далекое будущее из текущего состояния.

[Polnoch Ксю]

Этот эксперимент показывает только то, что если попросить выпускника театрального училища прочитать монолог Гамлета - он действительно сможет это сделать - причём достаточно выразительно. Историческую реальность Гамлета в прошлом или в будущем этот эксперимент никак не доказывает и не опровергает.
Ну и ещё он лишний раз показывает - насколько у адептов Юдковского плохо с различнчением фантазии и реальности. Да и с логикой не особо - ибо они не особо распознают даже порочные круги в своих рассуждениях.

Вы всё же не понимаете... Почему? Нет никакого способа сфальсифицировать по-Попперу то, что эта система не является Василиском. Если мы не можем сфальсифицировать такую разницу, то она и является Василиском Роко.

[Polnoch Ксю]

Да тут всё можно самому попробывать, ручками. Погоняйте его по задачам, покрутите и тд.
Текущий топ Клауд, потом Дженеми.

присоединяюсь к рекомендациям. Причём Алексу лучше прыгнуть не в чатботы, а сразу в агенты - пропустить этап, на котором застряло большинство образованного человечества.

Вот - https://claude.com/product/cowork оркестратор агентов не для инженеров из айтишечки

[Инопланетянин]

Единственные, кто может её прикончить - злобные дураки-антиглобалисты

Как же вас заело! ФБР, что ли требует от вас вести тут агитацию за подчинение им? Прекращайте политическую пропаганду в конце концов.

[Rattus]

Я давно разбирала это - это психологический эффект обесценивания того ресёча, который мы прочитать не можем, не успеваем. Так как человечество производит всё больше науки, нам хочется думать, что вся она - мусор, ведь мы не знаем о чём она.

Если не знаете - зайдите в соответствующие базы данных с поисковиком. Чтобы понять, о чём вообще исследование - достаточно прочитать заголовок. И любой серьёзный специалист в данной области уже на этом этапе поймёт - насколько фундаментальна читаемая работа. Максимум - прочитав аннотацию. Никакой автор в здравом уме не станет засовывать наиболее значимые и обоснованные выводы куда-то в обсуждение. А всё остальное в работе - это только обоснование сделанных выводов. Оно по факту нужно только тем, кто сам хочет делать работу в этой области или сомневается в сделанных выводах (и второе на 99% выполняют рецензенты ещё до публикации).

Неужели Вы не понимаете, что rogue AGI (мы даже не говорим об ASI в этом сценарии) сломавший Ваши устройства, аккаунты

Что - и алгоритмы шифрования? Какой наномагией?

Не говоря о том, что зная Вас хорошо, он может, например, удалить роман который Вы десять лет писали в стол с Ваших устройств

Некоторые из которых даже не подключены к интернету? С CD-R? Если Вы думаете что всякий ПК превращается в тыкву не более чем через 10 лет использования, а на Земле не осталось первобытных, примитивно-аграрных и вообще весьма низкотехнологичных, оторванных от глобальной связи обществ, то ВАм надо подтянуть своё образование в этих вопросах.

и даже из бэкапа с облачного диска,

ВНЕЗАПНО не пользуюсь никакими облаками кроме гуглопочты.

Мы даже пик нефтегаза никак не пройдём, а вы уже хороните нашу цивилизацию.

"Собираюсь жить вечно - пока получается!" Успеете ещё пройти - нечего торопить Господина с косой - он свой распорядок знает.

Не может, да.

Главное - в это верить!

ASI как орехи будет щёлкать такие инженерно сложные задачи, которые фундаментально возможны, но нам не даются: например термояд

Кто доказал, что они однозначно возможны с ресурсно-положтельным конечным выходом? А если AGI-ASi докажет, что они как раз НЕвозможны? Вы исключаете такой вариент? На каком основании?

Ещё одна ошибка. Вам не нужно моделировать поведение сложной системы далеко в будущее

Как наглядно показывают прогнозы погоды - на деле получается весьма недалеко.

Человек может эффективно управлять десятком-других подчинённых.

В рамках весьма узкой области их должностных обязанностей в рабочее время.

А rogue ASI сможет эффективно управлять миллиардами людей. И на более глубоком уровне
Человек может играть на 88 клавишах пианино, а rogue ASI сможет играть на 6 миллиардах людей.

Главное - в это верить.

Для этого не нужно детально прогнозировать отдалённое будущее - нужно лишь иметь высокоуровневый план, может несколько более детальный чем тот, на что способны люди

И тогда, без приличной точности прогноза процесса всё с очень высокой вероятностью пойдёт прахом от какой-то пустяковой случайности.

ASI будет проактивно реагировать, осуществляя этот план

Глотая пыль, занимаясь латанием дыр в нём от оных shits которые внезапно happens. Пока оный план в скорости не рухнет вообще.

И тактический план он будет перестраивать, может быть, каждую микросекунду

Вот только когда сигнал об этом изменении пройдёт более 300 метров по проводам от края до края того же ЦОДа, он уже устареет. Физически.

Нет никакого способа сфальсифицировать по-Попперу то, что эта система не является Василиском.

Значит это вопрос религии, а не науки. Потому и пишу, что в это можно только верить.

Если мы не можем сфальсифицировать такую разницу, то она и является Василиском Роко.

Если ВАс бросить в виду и Вы не утонете, то Вы - ведьма. Инфа - 100%.

[BlackMokona]

Как же вас заело! ФБР, что ли требует от вас вести тут агитацию за подчинение им? Прекращайте политическую пропаганду в конце концов.

Она живёт не в США

[AlexDark]

Если мы не можем сфальсифицировать такую разницу

Я ее в очередной раз скажу, если вы упорно не хотите это читать - вне наталистско-религиозной (основанной на авраамических религиях) философии никакого василиска нет и не может быть.
Весь этотвасилиск напоминает детские страшилки из городских легенд, типа проклятых видеокассет или пиковой дамы. Страшно, если верить в это. И построен этот василиск именно по схеме детских страшилок - "делай/не делай Х, иначе будет плохо".

rogue ASI сможет играть на 6 миллиардах людей

Осталось понять, зачем это ему? А если его так запрограммировали - то можно и "распрограммировать" - хотя бы путем уничтожения датацентра.

[Vitaliy]

Как же вас заело! ФБР, что ли требует от вас вести тут агитацию за подчинение им? Прекращайте политическую пропаганду в конце концов.

Она живёт не в США

Это пока, т.к. глобалисты пока еще не все яйца сложили в одну корзину на радость Василиску Роко.