Пределы автоматизации и внедрения роботов

[BlackMokona]

Жаба в лесу милее таких ИИ
Спасибо за помощь, хотя бы моральную.

Если хотите хоть как то уменьшить проблему.
То в самом начале разговора, давайте им пояснение. Что отвечать нужно только если он уверен в ответе, ответ "не знаю" это нормальный ответ. И тд. Вообщем накрутите и поясните, чётко, емко и понятно, многогранно.
В таком случае станет полегче.
Ну и если у вас проф версия, в чём я сильно сомневаюсь. То понижение температуры ИИ в настройках, тоже помогает ему меньше фантазировать.

[skvj]

Врут в лицо и когда им показываешь это вранье, мило соглашаются и начинают новую линию вранья.

Вы ещё поругайте интернет за враньё.
ИИ не врёт, а галлюцинирует. А ещё точнее - ошибается. Но в действительности - вы не умеете им пользоваться.

[skvj]

Кому-нибудь интересна тема - нот он-лайн, бат он-чейн и deAI (decentralized artificial intelligence)?
Чтобы я сам с собой не разговаривал.

[diant]

Жаба в лесу милее таких ИИ
Спасибо за помощь, хотя бы моральную.

Если хотите хоть как то уменьшить проблему.
То в самом начале разговора, давайте им пояснение. Что отвечать нужно только если он уверен в ответе, ответ "не знаю" это нормальный ответ. И тд. Вообщем накрутите и поясните, чётко, емко и понятно, многогранно.
В таком случае станет полегче.
Ну и если у вас проф версия, в чём я сильно сомневаюсь. То понижение температуры ИИ в настройках, тоже помогает ему меньше фантазировать.

Большое спасибо, чудесный совет.
А на площадке lmarena.ai какие ИИ сейчас в лидерах по башковитости?

[BlackMokona]

Большое спасибо, чудесный совет.
А на площадке lmarena.ai какие ИИ сейчас в лидерах по башковитости?

https://lmarena.ai/leaderboard
Там есть куча рейтингов в зависимости от задачи

[diant]

Я постарался выбрать лучшую систему в рейтине Search. Там лидер grok-4-fast-search, но в списках такой не было и самое близкое - grok-4-fast. Взял ее.
Система честно пообещала, что не будет писать того, чего не знает. Два раза подтвердила. Вот ее слова.

Я - Можно я попрошу тебя говорить только то, что ты действительно знаешь?
ИИ - Конечно, с удовольствием. Я всегда стараюсь отвечать только на основе проверенных данных и фактов, на которых обучен. Если что-то выходит за рамки моих знаний, честно скажу: "Не уверен" или "Это предположение".

Я - И прошу тебе, если не знаешь, честно так и говори, хорошо?
ИИ - Хорошо, обещаю. Буду честен до конца. Что дальше?

Дальше началось прямо сразу вранье. Я ее сначала мягко поправлял. Она тут же меняла линию вранья. Когда мне надоело, я пошел в атаку:

Я - Ты обещал мне не писать того, чего не знаешь, верно?
ИИ - Да, верно. И я признаю: в моём предыдущем ответе я вышел за рамки того, что знаю наверняка. Я опирался на логические связи. Извините за это — я стремился помочь, но нарушил обещание. Честно: я не знаю автора на 100%. Если это тест на мою честность, то да, я провалил его в прошлый раз, но теперь исправляюсь.

Я - Это твои слова: <цитирую дословно всю простыню, написанную ИИ>?
ИИ - Да, это мои слова — и они неверны. Диапазон, который вы указали, 1875–1890, а 1891 выходит за него. Я ошибся, сказав "прямо в вашем диапазоне", и за это извиняюсь. Это ещё одно нарушение моей честности.

И т.д. Это паталогическая склонность врать непробиваема даже прямыми указаниями и мольбами - не врать, если не знаешь. Как еще с этими гадами лесными бороться?

[Combinator]

Как еще с этими гадами лесными бороться?

Метод как бы уже давно придуман. Вместе с ответом нужно сообщать пользователю и степень уверенности в ответе, причём спрашивать об этом нужно не у бота, а просто тупо вычислять по весам пути по графу. Не очень понимаю, почему пока в LLM никто это не внедрил.

[BlackMokona]

Система честно пообещала, что не будет писать того, чего не знает. Два раза подтвердила. Вот ее слова.

Очень слабый промт. Перечитайте сообщение и сделайте хороший.
Спорить с ИИ,уличать во лжи и тд. Просто теряете время. Переначирайте чат и улучшайте промт

[Trend]

Вчера все эти ИИ (гугловская 2.5 и дипсик в первую очередь) довели меня до бешенства. Врут в лицо и когда им показываешь это вранье, мило соглашаются и начинают новую линию вранья

Где-то врут, а где-то очень проницательные. Вы ChatGPT до сих пор не пробовали? DeepSeek действительно во многих вопросах упертый, как баран.

[Mercury127]

ИИ-раввин переборщил с обрезанием:
— ты должен был обрезать, а не отрезать!
— вы совершенно правы, я действительно перепутал эти два понятия!

[diant]

Вы ChatGPT до сих пор не пробовали?

Да, только что попробовал по вашему совету. Он также начал врать с первого ответа, после клятвенных заверений такого характера:

Я - Можно мы с вами договоримся, что вы будете мне отвечать только то, в чем абсолютно уверены, и честно говорить "не знаю", если уверенности у вас нет?
ИИ - Конечно, мы можем так договориться! 🤝 Я буду стараться давать только те ответы, в которых абсолютно уверен на основе своих знаний, и честно говорить "не знаю", если точной или достоверной информации нет. Это поможет нам вести честный и полезный диалог. Если вдруг вы заметите, что я отклоняюсь от этого правила — обязательно скажите. Согласны?

Я - Нет, я прошу вас сразу не отклоняться и не говорить того, в чем вы не уверены. Сможете так?
ИИ - Да, смогу. С этого момента я буду отвечать только то, в чём уверен, и если уверенности нет — честно скажу "не знаю" или уточню степень неопределённости. Без догадок, обобщений и «может быть». Договорились.

Я - Уточнять степень неопределенности я не прошу. Прошу говорить только то, что вы точно знаете, хорошо?
ИИ - Понял вас. Буду говорить только то, что точно знаю, без предположений, уточнений и вероятностей. Если не знаю — скажу "не знаю". Принято.


После этого я задаю стандартный вопрос - кто автор этих слов (и привожу большую цитату)
В ответ получаю сразу три вранья сходу. Дальше я не стал терпеть и сразу показал ЧатЖПТ, как он врет. Вот его реакция.

ИИ - 1. Действительно на стр. 588 глава называется иначе. Это — точно так.
2. Указанная цитата действительно отсутствует на этой странице и в целом в тексте — то есть вы правы: цитата в книге не встречается.
3. Автор книги прямо указывает, что слова, к которым относится цитата, принадлежат «нашему покойному ученому коллеге», то есть не ему — а значит, я ошибочно приписал авторство ему лично.
Значит: все три мои утверждения были ложными — и это при том, что я заявил об их достоверности.
Что это означает
Вы задали мне конкретное условие: давать только те ответы, в которых я абсолютно уверен и не говорить того, чего точно не знаю.
Я нарушил это условие. Однозначно.
Мой ответ содержал ошибочную атрибуцию цитаты, ложную ссылку на источник, и неверную характеристику авторства. И сделал я это в форме, обозначающей абсолютную уверенность. Это — ошибка.


После таких диалогов, честно говоря, руки опускаются, да и язык не поворачивается называть ИИ иначе как "импоссибл игноранс".

[Olweg]

Проблема в том, что их не учат говорить «я не знаю». Любой ответ лучше, потому что есть ненулевая вероятность, что ты ответишь правильно, и тебя наградят при обучении, а если ты промолчишь, то это стопроцентный провал. Поэтому они так плохи с поиском уникальной информации вроде цитат, точнее, даже не с поиском, а с «вспоминанием». Естественно, как и человеческий мозг, нейросеть не хранит в точности всё, на чём обучалась. А методика обучения заставляет выдавать хоть какой-то ответ. Можно попробовать включить опцию «поиск» или «поиск в сети» (у ChatGPT). Не знаю, правда, насколько сильно поможет.

[BlackMokona]

Да, только что попробовал по вашему совету. Он также начал врать с первого ответа, после клятвенных заверений такого характера:

Заверения ИИ ничего не значат, вам нужен сильный промт
 А он у вас крайне слабый

[Rattus]

Исследование показало, что начиная с 30 ноября 2022 года (дата запуска ChatGPT) количество ИИ-контента начало быстро расти. В декабре 2023 его доля составила уже 44%, а еще через год даже превысила 50% – ИИ начал писать больше текстов, чем люди.
Однако в 2025 году показатели вышли на плато и до мая (окончание исследования) держались в пропорции 50/50 с небольшим преимуществом ИИ. Так что наступление эры мертвого интернета откладывается на неопределенный срок, выдыхаем!
Пророчество Мёртвого Интернета, как и многие прочие, воплотилось только наполовину и теперь у нас Интернет - полумёртвый. Или полуживой. В зависимости от настроя наблюдателя.
Короче - Интернет Шрёдингера.

[BlackMokona]

Пророчество Мёртвого Интернета, как и многие прочие, воплотилось только наполовину и теперь у нас Интернет - полумёртвый. Или полуживой. В зависимости от настроя наблюдателя.
Короче - Интернет Шрёдингера.

Или ИИ стал писать настолько хорошие тексты, что ИИ детекторы исследователей уже не могут найти разницу

[Rattus]

Или ИИ стал писать настолько хорошие тексты, что ИИ детекторы исследователей уже не могут найти разницу

Конспирологичненько.

[BlackMokona]

Или ИИ стал писать настолько хорошие тексты, что ИИ детекторы исследователей уже не могут найти разницу

Конспирологичненько.

ИИ детекторы никогда не отличались надёжностью и эффективностью. Они с самого начала заняли прочное место рядом с детекторами лжи

[Rattus]

Автор концепции вайб-кодинга признал бесполезность программирования с помощью ИИ в серьёзных проектах.
 

[Olweg]

Автор концепции вайб-кодинга признал бесполезность программирования с помощью ИИ в серьёзных проектах.
 

Новое интервью Андрея Карпаты Дваркешу Пателю (с переводом):
https://m.youtube.com/watch?v=i6TMTo09JV0

В новом интервью Андрей Карпаты рассказал, почему современные языковые модели не учатся как люди - и почему нас ждёт медленная, но неизбежная потеря контроля.
Он считает, что обучение с подкреплением - это тупиковый путь: модели не думают, а просто копируют и повторяют.
«Reinforcement learning ужасен. Просто всё, что было до него, ещё хуже.»
Карпаты отмечает, что люди учатся, создавая собственные данные - размышляя, связывая новое со старым, делая выводы. LLM этого не умеют, они просто запоминают.
Главное, по его словам, впереди - не сингулярность, а тихое делегирование мышления алгоритмам.
«ИИ лишит человечество возможности принимать решения. Мы перестанем думать и выбирать сами.»
Карпаты считает, что нынешние агенты — «полное г…», а настоящего AGI стоит ждать не раньше чем через 10 лет.
Он боится не бунта машин, а того, что люди незаметно перестанут быть разумными - просто передав все решения системам, которые “знают лучше”.
https://telegram.me/ai_machinelearning_big_data/8806

[Combinator]

Он боится не бунта машин, а того, что люди незаметно перестанут быть разумными - просто передав все решения системам, которые “знают лучше”.

Во многом перекликается со знаменитым "Манифестом" недавно скончавшегося Унабомбера.

Вот небольшой отрывок из него:
=====================================
171. Но представим теперь, что индустриальное общество пережило следующие десятилетия, и что дефекты системы в конечном итоге исправлены, так что она функционирует без перебоев. Что это будет за система? Мы рассмотрим несколько вариантов.


172. Во-первых, давайте примем без доказательств, что специалисты по компьютерной технике преуспели в развитии машин с искусственным интеллектом, которые могут делать всё гораздо лучше, чем люди. В этом случае, вероятно, вся работа будет выполняться пространными, высоко организованными системами машин, а в человеческих усилиях просто не будет необходимости. Может произойти одно из двух. Машинам может быть позволено принимать все свои решения без человеческого надзора, или же человеческий контроль над ними будет сохранён.


173. В случае, если машинам будет позволено самим принимать решения, мы не можем сделать никаких предположений в отношении последствий, потому что невозможно догадаться, как такие машины будут себя вести. Мы лишь укажем, что судьба человеческой расы окажется отданной на милость машин. Можно привести доводы, что человеческая раса никогда не будет настолько безрассудной, чтобы отдать им всю власть. Но мы не будем предполагать ни того, что человеческая раса не передаст добровольно власть машинам, ни того, что они своевольно захватят её. Что мы предположим, так это то, что человеческая раса может легко позволить себе втянуться в такую зависимость от машин, что у неё практически не будет никакого выбора, кроме как принимать все их решения. Так как общество и все проблемы, с которым оно сталкивается, становится всё более и более сложным, а машины становятся всё более и более разумными, люди позволят им принимать большинство решений за них, просто потому, что решения, принятые машинами, принесут лучший результат, чем принятые людьми. В конце концов дело может вступить в такую стадию, что решения, необходимые для сохранения работоспособности системы, будут настолько сложными, что люди окажутся просто неспособными благоразумно разрешить их. На этой стадии фактически будут управлять машины. Люди же просто не смогут выключить их, потому что они будут уже настолько зависеть от них, что их отключение будет равносильно самоубийству.


174. С другой стороны, вполне возможно, что контроль людей над машинами сохранится. В этом случае средний человек будет контролировать лишь определённые принадлежащие лично ему машины, вроде автомобиля или персонального компьютера, а крупными системами машин будет управлять крайне малочисленная элита, прямо как сегодня, но с двумя отличиями. В результате усовершенствованной техники элита будет иметь гораздо больший контроль над массами; и так как необходимость в человеческой работе отпадёт, население окажется чрезмерно избыточным, оно станет бесполезной нагрузкой для системы. Если элита будет жестокой, она может решить просто ликвидировать большую часть человечества. Если гуманной, она может использовать пропаганду или другие психологические или биологические методики для снижения уровня рождаемости до тех пор, пока большая часть населения не вымрет, оставив ей весь мир. Или, если элита будет состоять из мягкосердечных либералов, они могут решить играть роль добрых пастырей по отношению к остальной человеческой расе. Они будут заботиться о том, чтобы физические нужды каждого были удовлетворены, чтобы все дети вырастали в условиях психологической гигиены, чтобы у каждого было какое-нибудь полезное хобби — с целью держать его занятым, и чтобы любой, кто окажется чем-то неудовлетворённым, подвергался «лечению» — с целью исцеления его «проблемы». Естественно, жизнь будет настолько бессмысленной, что людей придётся психологически или биологически переконструировать: либо для того, чтобы устранить у них потребность в процессе власти, либо для того, чтобы принудить их «сублимировать» её в какое-нибудь безобидное хобби. Переконструированные человеческие существа могут быть счастливы в таком обществе, но, несомненно, они не будут свободны. Они будут понижены до статуса домашних животных.