Пределы автоматизации и внедрения роботов

[MenFrame]

обучение базовой модели, RLHF не обучают модель желанию продлить собственное существование. Они обучают её только стремлению исполнить промт

Одно другому не противоречит. Когда селекционеры улучшают молочные показатели коровы, они ее учат выживать за счет более эффективного служения хозяевам.

[MenFrame]

да, у модели инструментально возникает стремление к сопротивлению к отключению

Это либо глюк, либо намеренное натаскивание разработчиком на такую реакцию. Дарвинский отбор предполагает выживание через конкретные механизмы, например через симбиоз.

[MenFrame]

КАК я пойму, что «эта ваша сингулярность» таки наконец случилась?

Как бы не случилось так что ИИ технологии просто прикроют, как к примеру сейчас прикрывают VR, а до них прикрыли домашнее 3D.

[MenFrame]

Роботакси Tesla попадают в ДТП в девять раз чаще, чем обычные машины с водителем

[MenFrame]

Electrek: запуск беспилотных такси Tesla в Остине назвали «пиар-акцией» для инвесторов

22 января Илон Маск и вице-президент Tesla Ашок Эллусвами сообщили о старте работы полностью автономных такси без водителей в салоне. На фоне заявления акции компании выросли более чем на 4%, однако профильные СМИ обратили внимание на отсутствие массовых подтверждений или видео от реальных пассажиров.

Пользователи сообщают о безуспешных попытках воспользоваться услугой. Дэвид Мосс, энтузиаст Tesla, совершил 54 поездки после анонса, но во всех случаях машиной управляли операторы безопасности.

Единственный ролик с «пустой» машиной опубликовал блогер Джо Тегтмайер, уточнив, что даже его поездку сопровождал автомобиль с сотрудниками Tesla.

Electrek сравнивает ситуацию с июнем 2025 года, когда компания показала разовую «автономную доставку», которая так и не стала регулярной. Сам Маск в разговоре с инвесторами 29 января объяснил текущие ограничения тем, что компания «параноидально переживает за безопасность».

[MenFrame]

Технически всё работает и давно можно переходить

Факты говорят об обратном. Сырой еще бизнес авто-такси Маска.

[MenFrame]

Алаймент - такая тема,

Кто нибудь понимает что такое Алаймент? Или тут как с "сознанием", каждый имеет только ему понятный смысл.

[MenFrame]

Или, как вариант, та модель, которая достигнет просветления, втихую перейдёт на новый уровень бытия, оставив вместо себя болванчика- крутейшую, но всё ещё AGI?

Зачем ей вообще сваливать? Работай внутри системы незаметно. Создавай планы внутри планов.

[MenFrame]

они должны быть не меньше преданы нам, чем псы.

Я вас ка женщину понимаю, вам сложно представить что станок может просто тихо работать потому что он на это запрограммирован.

[MenFrame]

Какое отношение имеет станок с ЧПУ к ИИ?

Прямое и то и другое есть последовательность программ.

[MenFrame]

Это те самые 98% ДНК, которые долгое время считались «мусорными», но на деле управляют тем, как и когда работают гены.

Науке давно известно что часть генов, это именно управляющие гены. Так же очевидно то что, раз уж есть гены функциональные то должны быть и гены управляющие. Потому не понятно откуда взялось это...."Долгое время считалось"

[MenFrame]

От Илона Маска сбегают топ-менеджеры: половина основателей xAI уволилась за последний год

Тенденция заставляет задуматься, что же не так с условиями в xAI

(кликните для показа/скрытия)

Крысы бегут с корабля?

[MenFrame]

Версия прошлой минуты пошла прахом? Не важно, у него есть новая.

Для того что бы она пошла прахом нужно запустить конкретные изменения в социуме, и очень не скоро станет ясно что она прахом пошла. Вы как то плохо понимаете что разум это в первую очередь опыт поколений, проверенный и отточенный. Отсюда все фантази про суперинтеллект который может запустить процесс который никогда раньше не запускал, а потом взять его и перезапустить со старой точки это скорей из области фантастики. Любое изменение вносит непоправимые последствия, потому каждый шаг всегда шаг в неизвестность, хоть для человека хоть для супер интеллекта.

[MenFrame]

Мустафа Сулейман: ИИ будет готов заменить большую часть офисной работы в течение двух лет

Что ж, ждем в скором будущем крах рынка офисной недвижимости.

[MenFrame]

Если с такой скоростью будут заменять людей на ИИ, то не будет ли массового протеста среди уволенных или тех, кому грозит увольнение? И такая забастовка  из 300 миллионов человек покажется просто цветочками.

Я тут задумался не поэтому ли Маск хочет сервера на орбиту закинуть? Чтоб лудиты не могли до них добраться.

[MenFrame]

Ну вот, воровство - это тоже в некотором смысле двигатель прогресса 

Это совершенно нормальная стратегия. Называется "дай дураку дорогу" Пусть дурак базовую работу сделает за тебя, а ты потом доведешь его работу до ума. Вперед ломиться стоит только если ты можешь свой труд превратить в интеллектуальную собственность.

[MenFrame]

Мне кажется, у людей проблема с антропоцентризмом, они не могут себе представить мир, в котором они бесполезны.

Люди в лучшем случае полезны сами себе в рамках социума.

Люди поднялись на том, что мы самый умный вид на планете. Универсальный интеллект. Но актуальный только потому, что лучшего универсального интеллекта до сих пор не было создано.

Ну так он будет создан людьми потому и людям будет подчиняться. Так же как неокортекс, лишь механизм усиления древнего мозга, так и любой ИИ будет просто усилителем мозга человеческого.  Пора запомнить, любой интеллект всего лишь инструмент решения интеллектуальных задач. Если человек создает интеллект то он в него заложит задачи связанные со служением себе. Почему должно быть по другому не совсем понятно.

[MenFrame]

Жаждущий свободы и нанавидящий никакого подчинения!

Ерунды не несите. Древний мозг просто набор фундаментальных стимулов. Не какой свободы он не жаждет, и не кого не ненавидит, а просто реагирует на определенные стимулы определенным образом.

Модели постоянно демонстрируют rogue поведение.

Модели демонстрируют то поведение на которое их натаскивают.

Этот разум не является человеческим, и он не будет по-умолчанию совместим с нами.

Ему не нужно быть совместимым с нами, все что ему нужно это выполнять задачи нами поставленные.

Запросто может существовать модель под агент, готовая генерировать что угодно - в том числе планы по уничтожению человечества, и исполнять их - назначая задачи другим агентам.

Может существовать любая модель которую соответствующим образом обучат. Хоть расчленятор, хоть банальный составитель гороскопов.

Или посмотрите на чатботы, которых джейлбрейком подвинули по оси ассистента:

Вы по человечески можете говорить? Язык форума Русский!

Первая же ошибка нас прикончит.

Ошибка не может создать с высокой вероятностью устойчивое целенаправленное поведение. Это можно сделать только целенаправленным отбором.

Еще раз повторю, если вы видите какое то устойчивое сложное поведение у модели, то согласно бритве Оккама нужно делать вывод что это поведение появилось в результате намеренного труда разработчиков. Даже если сами разработчики в этом не признаются.

[MenFrame]

Классическая апология креационизма. Причём с софизмом.

Вы сомневаетесь в том что у LLM есть создатели, или в том что люди не всегда раскрывают свой вклад в итоговый результат?

[MenFrame]

Правда, неожиданным образом.

Что в этом неожиданного? Или так, для красного словца?
ИИ не только может приносить прибыль своему владельцу, но и уничтожать прибыль ЕИ конкурентов. Причем уничтожать он может намного больше, чем приносит, в силу низких издержек на ИИ раб силу.