Когда ИИ-системы дают медицинские ответы, кто-то должен проверять, хороши ли они и безопасны ли. Врачи справляются с этим лишь в небольшом объёме, поэтому роль проверяющего всё чаще берут на себя другие ИИ-модели. Новое исследование на arXiv показывает, что специализированная «Decision Language Model» (модель принятия решений) под названием Jev в нескольких тестах справляется с этой задачей примерно так же хорошо, как большие языковые модели, но работает заметно дешевле и быстрее.

Что произошло

Согласно аннотации исследования, команда представляет Jev — модель, которая выдаёт структурированные оценки, а не свободно сформулированные тексты. Авторы сравнили её с ведущими проприетарными и открытыми LLM-судьями, то есть языковыми моделями, используемыми в качестве оценщиков. Сравнения проводились в 4 сценариях использования.

Детская медицина: сравнение с оценками врачей

Первый тест касался 118 ответов на педиатрические вопросы, которые врачи оценили по упорядоченной шкале качества. Измерялось, насколько сильно автоматические судьи согласуются с этими оценками, — с помощью Gwet's AC2, меры согласованности для упорядоченных категорий.

Jev показал значение AC2 0.50, ожидаемый балл составлял 0.53. Тем самым Jev достиг или превзошёл уровень согласованности 7 из 12 протестированных LLM-судей, включая топовые модели:

Судья Gwet's AC2 (согласованность с врачами)
Jev 0.50
Claude Opus 5.5 0.49
GPT-6 0.38

HealthBench и MedHELM

По критериям «да/нет» из HealthBench, оценённым врачами, Jev достиг или превзошёл уровень согласованности 4 из 6 сравниваемых LLM-судей.

В третьем тесте в центре внимания были открытые задачи из MedHELM, для которых зачастую не существует единственно правильного ответа. В качестве ориентира использовалось жюри из 3 LLM. Согласованность Jev с жюри была близка к внутренней согласованности членов жюри или превосходила её. Иными словами, Jev отклонялся от жюри не сильнее, чем члены жюри отклонялись друг от друга.

HealthBench Professional

Здесь Jev совпал с эталонным судьёй бенчмарка, GPT-5.4, по 91% критериев. У остальных судей этот показатель составил 91–93%. Таким образом, Jev находится в том же диапазоне, что и большие модели.

Стоимость и время

Самое большое различие проявляется в затратах и скорости. Топовые модели в роли судей обходились в 73–294 раза дороже Jev и работали в 7–57 раз дольше. Авторы делают вывод, что Jev мог бы сделать возможной эффективную оценку клинического ИИ в больших масштабах.

Предыстория

Почему ответы ИИ необходимо оценивать

Языковые модели пробуют применять для вопросов здоровья, например для информирования пациентов или в качестве помощи в повседневной работе врачебной практики. Ошибки здесь имеют иные последствия, чем в совете по приготовлению блюда. Поэтому перед внедрением системы или перед её дальнейшим использованием после обновления нужны систематические тесты. Золотым стандартом остаются специалисты, которые читают ответы и оценивают их. Однако это дорого, медленно, и повторять такую оценку сколько угодно раз нельзя.

Принцип «LLM как судья»

Выходом стал метод, при котором сильная языковая модель выставляет оценки ответам других моделей. Она получает задание, ответ и критерии оценки и выносит вердикт. Это экономит человеческий труд, но создаёт собственные проблемы: запуски в больших масштабах дороги и медленны, а качество зависит от выбранной модели.

Чем отличается Decision Language Model

Классический LLM-судья — это универсальная модель, которая, среди прочего, умеет сформулировать и вердикт. Decision Language Model, напротив, заточена под принятие решений и выдаёт структурированные результаты, например категорию или оценку по шкале. Это, вероятно, экономит время и затраты, поскольку генерируется меньше текста. Как Jev устроена внутри, из аннотации, впрочем, не ясно.

Как измерить качество судьи

Судья полезен лишь тогда, когда его суждения близки к человеческим. Поэтому авторы сравнивают его оценки с оценками врачей, а в открытых задачах — с жюри из нескольких моделей. Одной лишь доли совпавших вердиктов недостаточно, ведь часть совпадений возникает случайно. Такие показатели, как Gwet's AC2, исключают случайную долю и учитывают, что оценка, лишь немного не попавшая в цель, весит меньше, чем сильно отличающаяся.

Что это значит

Результаты взяты из аннотации и, по имеющимся данным, не подтверждены независимо. Тем не менее некоторые осторожные выводы сделать можно.

Для разработчиц и разработчиков

Тем, кто создаёт медицинские ИИ-приложения, в идеале стоит тестировать их заново после каждого изменения. Если каждый запуск с топовой моделью в роли судьи стоит много денег и времени, это быстро превращается в препятствие. Недорогой и быстрый судья мог бы позволить тестировать чаще. Разумно сначала запустить его параллельно с известным судьёй и проверить расхождения на собственных данных.

Для небольших команд и организаций

У стартапов или исследовательских групп в сфере здравоохранения часто нет бюджета на большое число запросов к судьям. Более дешёвый оценщик мог бы снизить порог для систематического контроля качества. Врачебную проверку он не заменяет: исследование измеряет совпадение со специалистами, а не равноценную клиническую способность суждения.

Для пациенток, пациентов и других пользователей

Пользователи напрямую таких инструментов не замечают. Косвенно может помочь то, что ИИ для здравоохранения станут проверять чаще и тщательнее. Но хорошая оценка автоматического судьи не означает, что ответ верен в конкретном случае. При вопросах о здоровье определяющим остаётся разговор с медицинским персоналом.

Открытые вопросы и ограничения

  • Согласие Jev с врачами составляет 0.50, то есть умеренное. Это относится и к крупным моделям: Claude Opus 5.5 получает 0.49, GPT-6 — 0.38.
  • Jev превзошла не всех судей: 7 из 12 в тесте по детской медицине, 4 из 6 по критериям «да/нет».
  • В HealthBench Professional все судьи находятся очень близко друг к другу. Преимущество там проявляется прежде всего в затратах и времени.
  • Покажет ли Jev такие же результаты в других медицинских специальностях или на других языках, из имеющихся данных вывести нельзя.

Частые вопросы

Что такое Jev?

Jev — это так называемая Decision Language Model. Она возвращает структурированные оценки и служит судьёй для ответов клинического ИИ.

Насколько оценки Jev согла­суются с оценками врачей?

На 118 педиатрических ответах Jev показал согласие 0.50 (Gwet's AC2) с врачебными оценками качества. Это соответствовало результату как минимум 7 из 12 LLM-судей или превосходило его.

Как Jev пока­зывает себя в HealthBench Professional?

Jev совпал с эталонным судьёй GPT-5.4 по 91% критериев. У других судей совпадение составило 91–93%.

Насколько Jev дешевле и быстрее?

По данным исследования, ведущие LLM-судьи стоили в 73–294 раза дороже Jev и работали в 7–57 раз дольше.

Почему авто­матиче­ские судьи важны для кли­ниче­ского ИИ?

Ответы клинического ИИ нужно проверять в больших объёмах. Крупные LLM-судьи для этого дороги и медленны, поэтому ищут более эффективные альтернативы.