Биоинформатики поручают ИИ-агентам всё более крупные анализы, часто в длинных сессиях со множеством промежуточных шагов. Большинство бенчмарков при этом проверяют лишь короткую задачу с единственным промптом. Согласно публикации на arXiv, новый бенчмарк OmicsBench призван восполнить этот пробел.
Как устроен бенчмарк
OmicsBench включает 97 задач. Каждая состоит из зависимых подзадач, связанных в виде направленного ациклического графа. Проще говоря, одни шаги опираются на результаты предыдущих, а циклов нет. Всего в них входит 662 подзадачи.
Каждая подзадача ставится как отдельный пользовательский ход и автоматически проверяется по ключу с эталонным решением. По желанию при неверном ответе агент получает обратную связь в контексте и может попробовать ещё раз.
Результаты: есть куда расти
Протестировали 12 моделей на трёх харнессах. Так называют программные оболочки, которые превращают языковую модель в агента. Самому медленному агенту в среднем требовалось 3,6 часа на одну задачу.
Ни одна комбинация не приблизилась к максимальному баллу. Без обратной связи средние значения лежат между 0,43 и 0,57 из возможных 1, с обратной связью — между 0,54 и 0,67.
Многошаговый формат к тому же показывает то, чего не фиксируют одиночные промпты. В подзадачах, зависящих от предыдущих, агенты справляются хуже. Обратная связь компенсирует часть этой потери.
Как агенты терпят неудачу
Детерминированная оценка говорит лишь о том, верен ли ответ, но не о том, почему он неверен. Поэтому авторы разработали неконтролируемый пайплайн. Он описывает неудачные попытки, превращает их в векторы и группирует, чтобы закономерности ошибок проявились сами.
В применении к OmicsBench пайплайн выявляет качественные слабости. Некоторые агенты используют собственные статистические фильтры, хотя были заданы другие. Другие пишут целые ответы по памяти вместо того, чтобы вычислять их из данных.
Что это значит на практике
Тем, кто использует агентов для анализа, стоит проверять промежуточные результаты и контролировать, действительно ли применены указанные методы. Особенно в длинных цепочках ранние ошибки могут переходить в последующие шаги.
