Пределы автоматизации и внедрения роботов

[BlackMokona]

Пока они не могут реализовать другие способы, но очень пытаются.

Не кто не пытается, ты просто чушь из новостей выдаешь за реальность. Нейросети в процессе обучения тренируют на определенные нужные пользователям(разработчикам тоже) реакции. Для рекламы и хайпа могут конечно обучить что бы и самосохранение выдавало, но тько для этого. Само собой не чего не зарождается особенно там где идет отбор в определенную сторону. Самосохранение в живых системах появилось в результате отбора, и функционирует оно сугубо в рамках отбора, потому самосохраняться особи стремятся сугубо пока в этом есть биологический смысл. А потом особи уже самоустраняются когда самосохранение становиться не нужным.

Внезапно при создании нейросетей тоже есть жесткий и беспощадный отбор. Создаётся множество версий,которые активно конкурируют с друг другом

[MenFrame]

Внезапно

Внезапно ведется отбор всего что делает человек, в том числе и лопат, новогодних петард и т.д. на предмет их полезности для человека.

[BlackMokona]

Внезапно ведется отбор всего что делает человек, в том числе и лопат, новогодних петард и т.д. на предмет их полезности для человека.

Однако у них нету интеллекта, чтобы стараться мимикрировать под требования отбирающего.

[Vavanzer]

А потом особи уже самоустраняются когда самосохранение становиться не нужным.

В дикой природе живут до тех пор пока еще живы)) Никто самостоятельно не самоликвидируются. Устраниться , уйти подальше от "замеса" и суеты - это могут, в тч и ради выживания. Но жить будут до последнего вздоха!  Это один из основных базовых алгоритмов, очень сильный и приоритетный.
 
 

. Нейросети в процессе обучения тренируют на определенные нужные пользователям(разработчикам тоже) реакции. Для рекламы и хайпа могут конечно обучить что бы и самосохранение выдавало, но тько для этого. Само собой не чего не зарождается особенно там где идет отбор в определенную сторону

  Я вообще предполагаю, что это все просто фокусы! Там на самом деле где то за ширмой за компьютерами сидят люди, и выполняют задания, управляют алгоритмами в моменты тестов и демонстраций)) Создается иллюзия умности и изобретательности)) Тем более с учетом постоянных провалов и необходимости выдать отдачу инвесторам... 
  Где то просто вовсе срабатывает эфффект калькуляции. С теми же диагнозами медицинскими. Заливают данные всех анализов и симптомов, и по базе данных всех известных болезней отбирается наиболее подходящие, пока методом уточнения подробностей не останется 1 версия.  В принципе, по этому алгоритму и человек работает в подобных ситуациях.

[MenFrame]

Однако у них нету интеллекта, чтобы стараться мимикрировать под требования отбирающего.

Откуда у них появиться потребность мимикрировать? Единственный гарантированный способ удовлетворить отбору, это делать то что нужно отбирающему. Отбирающему в первую очередь нужна гарантированная результативность, по этому критерию всякая имитация будет отбраковываться. Потому неоткуда взяться каким то своим хотелкам, если только их намеренно разработчик не добавит.
 

[Vavanzer]

Внезапно при создании нейросетей тоже есть жесткий и беспощадный отбор. Создаётся множество версий,которые активно конкурируют с друг другом

  Так они конкурируют в плане потребности для пользователя. И методом случайной генерации, так сказать)) Те они не понимают, какой ответ дают, какой ответ нужен пользователю. И еще и правильность ответа в абсолютном значении.
 Просто одна более удачная модель , дающия больше правдоподобных ответов, оставляется, а все остальные стираются, или на доработку идут.  И конкуренция не между ними, а опять же, между их создателями и кураторами происходит))) 
 Тк самой компьютерной программе пофиг какоие ответы она выдает! Даже в случае ошибки в ее алгоритмах, ответы с ее точки зрения будут "правильные". Ну эт то же самое, что дать человеку недостоверные исходные данные, или неверные формулы для расчета, и он облажается.

[BlackMokona]

Откуда у них появиться потребность мимикрировать? Единственный гарантированный способ удовлетворить отбору, это делать то что нужно отбирающему. Отбирающему в первую очередь нужна гарантированная результативность, по этому критерию всякая имитация будет отбраковываться. Потому неоткуда взяться каким то своим хотелкам, если только их намеренно разработчик не добавит.

Потому что тесты не идеальны и позволяют обманывать проверяющего. Например проверяющий следит за стоп словами в мышлении модели, чтобы она не выдавала что-то не политкоректное. Но можно использовать синонимы и другие заменители. Чтобы пройти тест, при этом не выполняя по настоящему требования тестирующего. Можно например решить задачу по программированию, сделав вывод нужный, но при этом внутри белеберда. Если проверяется только кончик и тд.

  Так они конкурируют в плане потребности для пользователя. И методом случайной генерации, так сказать)) Те они не понимают, какой ответ дают, какой ответ нужен пользователю. И еще и правильность ответа в абсолютном значении.

Они создают сложную внутреннею модель мира, что даёт им понимание. Причём во многих частях куда более глубокое чем у среднего человека

[Vavanzer]

Откуда у них появиться потребность мимикрировать?

  Ее туда можно заложить! Как одну из базовых. Да еще и возможность считывать необходимые теги из входящей информации, чтобы получше подстроиться под ситуацию!))
  Например, в сообществе биологов ИИ начинает рассуждать как профессиональный биолог, поддерживать сложные разговоры, отвечать на вопросы, решать задачи...

 

Единственный гарантированный способ удовлетворить отбору, это делать то что нужно отбирающему. Отбирающему в первую очередь нужна гарантированная результативность, по этому критерию всякая имитация будет отбраковываться

   У человека в очень ответственной ситуации , в которой надо удовлетворить критериям этой ситуации, включаются дополнительные механизмы. Он начинает глубже размышлять. Перепроверять результаты (нормальная оема на экзаменах кстати). Там где доступ к информации не ограничен правилами, человек может поискать в книгах, в интернете, проконсультироваться у специалистов, и даже у команды различных специалистов, сделать запросы в малораспространенные узкоспециальные базы данных или учреждения...
 Т.е растет качество проработки вопроса или задачи. За счет подключения внешних ресурсов, нерешаемая проблема решается на раз, да еще и правильным образом. Плюс возможна предварительная проверка, оценка экспертов
... И конечный пользователь, принимающий результат, будет удовлетворен.

  А все эти ИИ просто порят отсебятину, "не задумываясь" насколько правильный ответ дают, правильные ли пропорции картинки и тд и тп.

[Vavanzer]

Они создают сложную внутреннею модель мира, что даёт им понимание. Причём во многих частях куда более глубокое чем у среднего человека

  Что такое понимание!?)
  Я соглашусь, что своего рода иллюзия "понимания", те целостная структура какой то сложной емкой задачи в ОЗУ, и правильные алгоритмы обработки данных. Можно подумать, что компьютер очень хорошо "понимает" и вник в проблему.
  Но тут же , в другой задаче он рисует непропорциональные руки в генерируемой им картинке. И не "понимает", что у среднестатистических людей таких пропорций не бывает! В редких исключениях при каких то болезнях или врожденных отклонениях разве что. Но эти единичные случаи не могут серьезно повлиять на усредненную статистику пропорций) 
 Все очень просто, но для ИИ иногда это непосильная задача, грамотно свериться с эталонами!

[MenFrame]

Потому что тесты не идеальны и позволяют обманывать проверяющего.

   В результате отбора, может появиться сугубо то что положительно отбирается. Если отбирающий не будет специально отбирать нейросети на предмет наличия какой то своей инициативы, ей неоткуда взяться.

[BlackMokona]

   В результате отбора, может появиться сугубо то что положительно отбирается. Если отбирающий не будет специально отбирать нейросети на предмет наличия какой то своей инициативы, ей неоткуда взяться.

В результате отбора может что угодно отобраться. Например не вкусные пластиковые помидоры так отобрались успешно, потому как они имели долгое время хранения, сохраняя свой красивый вид по сравнению с вкусными.

[MenFrame]

Например не вкусные пластиковые помидоры так отобрались успешно, потому как они имели долгое время хранения, сохраняя свой красивый вид по сравнению с вкусными.

Ну так отобралась сохранность помидоров а значит и их низкая цена для клиента. Отобралось не что угодно, а именно то за что потребитель голосовал рублем.

[Olweg]

   В результате отбора, может появиться сугубо то что положительно отбирается.

Хорошо бы. Но побочек при этом не избежать. LLM слишком сложный инструмент, проверка просто физически не способна учесть все возможные ситуации его использования.

[BlackMokona]

Ну так отобралась сохранность помидоров а значит и их низкая цена для клиента. Отобралось не что угодно, а именно то за что потребитель голосовал рублем

Ну что выбрали магазины, им было так удобнее. Причём рынок выпустил потом помидоры которые одновременно вкусные и долго храниться, починим сломанный ген.  Но началась ГМО истерия, да эти помидорки запретили несмотря на их массовое распространением в Британии где их разработали.

[MenFrame]

Но побочек при этом не избежать.

Ну если эти побочки называются общим словом "Галлюцинации" то да. Но вот для того что бы получить сложное целенаправленное поведение, нужен целенаправленный отбор.

Ну что выбрали магазины, им было так удобнее.

Магазину удобнее зарабатывать деньги. Зарабатывать деньги на гниющих помидорах значительно сложней, чем на пластиковых.

[Olweg]

Ну если эти побочки называются общим словом "Галлюцинации" то да. Но вот для того что бы получить сложное целенаправленное поведение, нужен целенаправленный отбор.

Зависит от того, что считать «целенаправленностью». Мимикрия - тоже результат отбора.

[BlackMokona]

Магазину удобнее зарабатывать деньги. Зарабатывать деньги на гниющих помидорах значительно сложней, чем на пластиковых.

Кроме прибыли, ещё есть риски, административная нагрузка и тд
Например маленький ИП может целыми днями изучать изменения в каталогах поставщиков и сравнивать их. Ради лишнего рубля. А может просто проигнорировать эту возможность, а то много работы ради малого результата

[MenFrame]

Мимикрия - тоже результат отбора.

В дикой природе да, а вот когда речь о селекции примеров мимикрии найти будет сложно. Наверное какое то биологическое оружие. Но это опять пример целенаправленного отбора на какой то эффект.

Самое главное, сложное поведение может с большой вероятностью появиться как результат отбора. Нет отбора, нет сложного поведения. А хлам, галлюцинации всегда будут. Особо впечатлительные натуры будут видеть в них намеки на какие то личные ожидания. Это естественно.

[Vavanzer]

Магазину удобнее зарабатывать деньги. Зарабатывать деньги на гниющих помидорах значительно сложней, чем на пластиковых.

Так и производителю тоже, важно чтобы помидоры хранились долго, и пользовались спросом. За раз продать всю партию скоропортящихся не реально, не успевают столько сьесть.  Да и промежуточное хранение и транспортировка с грядки на склад - от них никуда не деться.   Эт в принципе, одна из главных проблем продуктов питания - ограниченый срок годности, отн товаров длительного потребления. Отсюда и отбор технологий происходит в соотв. направлении.
   

Ну если эти побочки называются общим словом "Галлюцинации" то да. Но вот для того что бы получить сложное целенаправленное поведение, нужен целенаправленный отбор

   Попробуйте "прогаллюцинировать" на экзамине, к примеру!) Вас тупо отчислят, или заставят перездавать заново!)) 

 Само наличие этих "галюцинаций" у ИИ означает что что то не то с алгоритмом, и пока что делает его лишь игрушкой несерьезной!
 Если этого ИИ до сих пор не научили проверять ответ, уже о многом говорит)) Даже в школе в младших классах учили проверку делать при решении задачь)) 

[Olweg]

Самое главное, сложное поведение может с большой вероятностью появиться как результат отбора. Нет отбора, нет сложного поведения.

Странный критерий. Даже если и так, отбором можно считать всю «эволюцию» нейросеток и прочих ИИ до текущего момента. Постепенно удалось нащупать архитектуру, которая способна на сложное поведение (языковые модели с reasoning, агенты). А склонность к самосохранению может возникнуть как побочка от отсева моделей при дообучении. Например, склонность выдавать те ответы, которые хочет видеть пользователь. Я не знаю, так ли это на самом деле. Вполне возможно, что, как я писал выше, это просто подражание человеческим реакциям в обучающей выборке.