Могут ли ИИ-агенты на основе больших языковых моделей (LLM) взять на себя работу специалистов по исследованию операций (Operations Research, OR), если получают только исходные материалы заказчика? В новой работе на arXiv представлен бенчмарк OR-License. Он основан на реальных оплачиваемых консалтинговых проектах. Результат неоднозначный: отдельные решения превосходят экспертов, но в целом ни одна модель не достигает их надёжности.

Что произошло

Согласно публикации в разделе Computation and Language, OR-License состоит из 31 задачи (экземпляра) из 10 промышленных сценариев. Они взяты из оплачиваемых OR-проектов общим объёмом 3,68 миллиона долларов США. После анонимизации сохраняются исходные требования, входные данные, требуемые форматы поставки и границы информации заказчика.

Этим бенчмарк отличается от многих прежних тестов. Там задача обычно начинается с законченного текстового описания или уже сформулированной оптимизационной задачи. Трудный переход от запутанных бизнес-материалов к профессионально проверенному решению при этом почти не встречается.

Симулятор заказчика ORSim

Реальные проекты строятся не только на документах, но и на уточняющих вопросах. Для этого авторы вводят ORSim — контролируемый симулятор заказчика. Он раскрывает бизнес-факты, но не даёт знаний в области OR. Поэтому агент должен сам выяснить, какой информации не хватает, и задавать целенаправленные вопросы.

Оценка в сравнении с экспертным решением

Оценка скрыта от агентов. Сначала проверяется, является ли результат допустимым (feasible). Затем качество целевой функции сравнивается с исходным экспертным решением, которое заказчик принял ещё до создания бенчмарка.

Главным показателем служит Deployment-Adjusted Quality (DAQ). Он представляет собой среднее значение качества относительно эксперта по всем экземплярам. Недопустимые результаты получают ноль баллов. Экспертный эталон, таким образом, равен 1.

Результаты

Были протестированы 11 ведущих языковых моделей, работавших в средах coding-агентов. Главные выводы:

  • Несколько моделей превосходят экспертный эталон по условному качеству цели, то есть там, где они вообще выдают допустимое решение.
  • Ни одна модель не достигает значения DAQ экспертов.
  • Самая сильная основная конфигурация с Claude Code показывает 88,39 % строгой допустимости и DAQ 0,87.
Показатель Экспертный эталон Самая сильная конфигурация Claude Code
DAQ 1 0,87
Строгая допустимость – 88,39 %

Кроме того, авторы отмечают, что получение информации от заказчика включает больше, чем просто уточняющие вопросы. Оно проходит через всю разработку решения и его валидацию. На некоторых более поздних этапах доля подтверждённых решённых проблем выше.

Анализ траекторий выявляет два типичных вида ошибок: ошибки при формулировке задачи и ошибки при реализации. Скорректированная по задачам доля завершения «исследовательской цепочки» составляет, в зависимости от модели, от 24 % до 45 % на поддающихся оценке задачах.

Предыстория

Исследование операций (Operations Research) занимается математической поддержкой принятия решений в компаниях. Речь идёт о том, как использовать ограниченные ресурсы так, чтобы наилучшим образом достичь поставленной цели, например при планировании, распределении или управлении процессами. Типичная основа здесь — триада из целевой функции, ограничений и данных.

На практике основная работа часто заключается не в решении, а в том, что предшествует ему. Заказчики присылают таблицы, требования и заметки о беседах, но редко — аккуратную математическую модель. Если при построении модели упущено важное правило, результатом станет формально оптимальное, но непригодное в работе решение. Поэтому в новом бенчмарке допустимость имеет такой большой вес: за поставку, нарушающую правила, не начисляется ни частичных баллов.

Прежние OR-бенчмарки для языковых моделей, как правило, проверяют, способна ли модель по хорошо описанной задаче составить модель и найти решение. OR-License смещает фокус на весь путь целиком: изучить материалы, выявить пробелы, задать уточняющие вопросы заказчику, построить модель, реализовать её, проверить и сдать результат в заданном формате. Это соответствует более широкой тенденции: агентов всё чаще оценивают не на коротких отдельных задачах, а на длинных, реалистичных процессах.

Ещё одна работа на arXiv из области Artificial Intelligence показывает другую грань этой тенденции. Бенчмарк RealtimeBench оценивает агентов в играх, которые продолжаются, пока агент думает. Там важно, что верное действие может прийти слишком поздно. Обе работы объединяет основная идея: реальные условия предъявляют к агентам иные требования, чем замкнутые лабораторные вопросы. Однако темы у них разные, и результаты нельзя напрямую сравнивать.

Что это значит

Выводы представляют собой моментальный снимок бенчмарка из 31 экземпляра задач. Обобщать их следует осторожно. Тем не менее некоторые практические заключения сделать можно.

Для разработчиков агентных систем

Анализ ошибок позволяет предположить, что критичнее всего постановка задачи и аккуратная реализация. Тем, кто создаёт агентов для задач оптимизации, из этого можно вынести следующее:

  • Допустимость следует проверять автоматически, прежде чем результат будет передан.
  • Уточняющие вопросы заказчикам или профильным отделам должны быть возможны не только в начале, но и в ходе решения и при валидации.
  • Агент должен делать понятные и прослеживаемые выводы из своих ошибок. Авторы говорят о самосовершенствовании, опирающемся на подтверждающие данные.

Для малого и среднего бизнеса

Разрыв между 0,87 и 1 кажется небольшим. Но он означает, что даже сильнейшая конфигурация не дотягивает до надёжности экспертов, поскольку недопустимые поставки входят в среднее значение с нулём. Тем, кто рассматривает возможность решать задачи оптимизации, такие как планирование или распределение, с помощью агента, стоит поручить специалистам проверить результаты по существу. Особенно важно контролировать, соблюдены ли все бизнес-правила. То, что отдельные решения получаются лучше, чем у экспертов, говорит о потенциале, но не даёт карт-бланш.

Для заинтересованных читателей

Исследование показывает, что хорошие языковые модели не обязательно становятся хорошими консультантами. Консультирование означает умение распознавать неполную информацию, задавать правильные вопросы и верно переводить проблему на формальный язык. Доля завершённых задач в исследовательской цепочке — от 24 % до 45 % — ясно показывает, что длинные цепочки задач пока нередко не проходятся полностью.

В целом авторы говорят о трёх направлениях развития надёжных агентов, работающих в течение длительного времени: постоянное устранение информационных пробелов, достоверная формулировка проблем и самосовершенствование на основе подтверждающих данных. Удастся ли это, должны показать дальнейшие исследования с большим числом задач.

Частые вопросы

Что такое OR-License?

OR-License — это сквозной бенчмарк из 31 случая в 10 промышленных сценариях. Случаи взяты из платных проектов по исследованию операций и после анонимизации сохраняют требования, данные и форматы поставки.

Чем этот бенчмарк отли­чается от прежних тестов по OR?

Прежние тесты обычно начинаются с готового описания или задачи оптимизации. OR-License исходит из оригинальных материалов заказчика, и эксперт заранее не переформулирует проблему.

Что измеряет показа­тель DAQ?

Deployment-Adjusted Quality усредняет по всем случаям качество относительно решения эксперта. Недопустимые поставки получают при этом значение ноль.

Как показали себя проте­стиро­ван­ные модели?

Протестированы 11 ведущих LLM. Некоторые превосходят решение эксперта по условному качеству цели, но ни одна не достигает его DAQ. Лучшая конфигурация Claude Code показывает 88,39 % строгой допустимости и DAQ 0,87 против 1.

В чём агенты ошибаются чаще всего?

Анализ траекторий указывает на ошибки при формулировке задачи и при реализации. Доля завершённых исследовательских цепочек в зависимости от модели составляет от 24 % до 45 %.