Те, кто использует LLM-агентов с доступом к инструментам, знакомы с этой проблемой: два запуска из абсолютно одного и того же исходного состояния не обязательно заканчиваются одинаково. В новой статье на arXiv представлена метрика Recursive Semantic Divergence (RSD), которая призвана измерять именно эту нестабильность. Кроме того, её можно использовать как обучающий сигнал, чтобы сделать агентов надёжнее.

Что произошло

Согласно статье «Recursive Semantic Divergence for LLM Agent Consistency», LLM-агенты, использующие инструменты, ведут себя непоследовательно. Если запускать их несколько раз независимо друг от друга в одном и том же состоянии, они порой вызывают разные инструменты, выдают противоречивые результаты или придерживаются разных стратегий. По утверждению авторов, эти расхождения со временем усиливаются и подрывают надёжность на практике.

Что такое RSD?

RSD — это метрика согласованности на уровне целых траекторий (Trajektorien). Она не требует разметки (unsupervised) и выведена из так называемых метрик бисимуляции в обучении с подкреплением (Reinforcement Learning). RSD измеряет ожидаемое, накопленное во времени смысловое расхождение между двумя независимыми прогонами одного и того же агента из одного и того же начального состояния.

Чтобы оценить, противоречат ли два утверждения друг другу, RSD использует Natural Language Inference (NLI). Это метод, который проверяет, совместимы ли два текста логически или исключают друг друга.

Как работает RSD?

Метрика определена рекурсивно через будущие состояния: расхождение сейчас складывается из расхождения на текущем шаге и ожидаемого расхождения на последующих шагах. Поскольку полностью просчитывать будущее не хочется, авторы аппроксимируют эту величину нейронной сетью. Она обучается на независимых прогонах.

Обученная модель по текущему состоянию оценивает, насколько сильно траектории, вероятно, будут расходиться в дальнейшем. Так на каждом раунде получается значение согласованности, и для этого не нужно дожидаться завершения всей траектории.

Результаты

Если использовать RSD в качестве сигнала вознаграждения при дообучении (Feintuning), то, согласно исследованию, разброс в прогрессе выполнения задач на двух бенчмарках заметно снижается:

Бенчмарк Вариация до Вариация с RSD
tau2-bench 132 % 91 %
toolsandbox 90 % 44 %

Кроме того, авторы сообщают об улучшенных результатах на нескольких бенчмарках и для моделей разного размера. Если RSD применяется как дополнительный сигнал вознаграждения, обучение достигает результатов контролируемого дообучения (Supervised Fine-Tuning), но с существенно меньшей дисперсией. Эталонные метки (Ground Truth) для этого не нужны.

Контекст

Привычные оценки агентов в первую очередь отвечают на вопрос: решена ли задача? Обычно это делается с помощью итоговых оценок, то есть скоров, которые отражают успех отдельного запуска. Насколько стабильно агент ведёт себя в нескольких запусках, такие метрики почти не показывают. Агент может в среднем показывать хороший результат и всё же сильно колебаться от запуска к запуску.

У существующих подходов к анализу согласованности тоже есть пробел. Можно рассматривать поведение на уровне токенов, то есть по распределениям вероятностей, с которыми модель выбирает следующий фрагмент текста. Или можно смотреть на отдельные ответы и группировать их по смыслу (семантическая кластеризация). По мнению авторов, ни то ни другое не фиксирует, как несогласованность распространяется на последующие раунды траектории. Для агентов это принципиально: они действуют в несколько шагов, и раннее расхождение может сместить последующие решения.

Почему подход заимствован из обучения с подкреплением

В обучении с подкреплением агент учится на вознаграждениях. Метрики бисимуляции измеряют там, насколько похожи состояния с точки зрения их будущего поведения. RSD переносит эту идею на языковых агентов: вместо состояний он сравнивает два независимых прогона одного и того же агента и проверяет смысл их выходных данных. Идея рекурсивно суммировать расхождения по будущему хорошо подходит для многошаговых задач.

Взгляд на смежные работы

Согласованность — тема и в других областях обработки языка. Например, другая работа из той же рубрики arXiv исследует, насколько хорошо аннотаторы на основе LLM согласуются с оценками людей. Там согласие измеряется показателем Fleiss-Kappa. Тема другая, но базовый вопрос схож: насколько надёжны и понятны решения языковых моделей, когда выносят суждение несколько экземпляров? Эти исследования напрямую несопоставимы и не опираются друг на друга.

Что это означает

Результаты взяты из препринта на arXiv. Это, таким образом, текущее состояние исследований, а не независимо подтверждённый стандарт. Тем не менее можно сделать несколько осторожных выводов.

Что означает RSD для пользователей?

Для тех, кто применяет агентов в повседневных задачах, например для поиска информации, планирования встреч или обработки запросов клиентов, надёжность часто важнее одного рекордного показателя. Если один и тот же запрос то приводит к одному результату, то к другому, доверие снижается. Измерение согласованности, подобное RSD, могло бы помочь сделать реакции агентов на одинаковые исходные условия более предсказуемыми. Появятся ли такие методы в продуктах и когда именно, из материала не ясно.

Для разработчиц и разработчиков

  • RSD выдаёт значение согласованности для каждого раунда. Это может помочь выявлять неустойчивые места в ходе выполнения ещё до того, как запуск завершится.
  • Для этого показателя не нужны эталонные метки. Это может снизить затраты, если для вашей задачи нет однозначно правильных решений.
  • В качестве дополнительного сигнала вознаграждения при дообучении RSD в исследовании уменьшил разброс. Тем, кто обучает собственных агентов, стоит проверить, имеет ли смысл похожий сигнал в их конфигурации.
  • Согласованность не должна быть единственным критерием: агент, который всегда делает одну и ту же ошибку, был бы согласованным, но не хорошим. Разумно сочетать её с измерениями качества выполнения задач.

Для малых предприятий

Тем, кто встраивает агентов в рабочие процессы, например в поддержку клиентов или внутренние процессы, стоит тестировать запуски несколько раз из одного и того же состояния, а не один раз. Исследование показывает, что разброс в продвижении по задаче может быть значительным. Такая повторная проверка может показать, достаточно ли надёжен агент для предполагаемого применения. Следует учитывать: RSD опирается на NLI-модели для обнаружения противоречий. Их собственные ошибки могут влиять на измерение. Подробно материал это не обсуждает, поэтому стоит отнестись к этому критически.

Открытые вопросы

  • Результаты относятся к бенчмаркам, названным в исследовании. Насколько хорошо они переносятся на другие задачи, ещё предстоит проверить.
  • Цифры о разбросе описывают вариацию в продвижении по задаче, а не надёжность в любом мыслимом сценарии.
  • Будет ли RSD широко применяться на практике, пока неизвестно.

Частые вопросы

Что такое RSD?

RSD расшифровывается как Recursive Semantic Divergence (рекурсивное семантическое расхождение). Это неконтролируемая метрика на уровне целых траекторий, которая измеряет согласованность LLM-агентов, использующих инструменты. Она выведена из метрик бисимуляции, известных в обучении с подкреплением.

Как работает RSD?

RSD измеряет ожидаемое накопленное семантическое расхождение между двумя независимыми прогонами одного и того же агента из одного и того же состояния. Логические противоречия выявляются с помощью Natural Language Inference. Метрика определяется рекурсивно через будущие состояния и аппроксимируется нейронной сетью.

Почему суще­ству­ющих метрик оценки недо­ста­точ­но?

Распространённые метрики в основном оценивают правильность решения задачи по итоговым показателям. Они не учитывают согласованность поведения агента в разных прогонах, а также то, как расхождения распространяются на последующие шаги.

Что RSD значит для поль­зовате­лей?

Агенты, дообученные с RSD в качестве награды, меньше колеблются в продвижении по задаче: со 132 % до 91 % в tau2-bench и с 90 % до 44 % в toolsandbox. Это может сделать их применение надёжнее.

Нужны ли RSD эталонные метки (ground truth)?

Нет. В роли дополнительного сигнала награды RSD достигает качества контролируемого дообучения при заметно меньшей дисперсии и без эталонных меток.