По сообщению The Decoder, исследователи разработали новый бенчмарк под названием Taste-Bench. Он должен измерять, насколько хорошо ИИ-агенты принимают стратегические решения в долгосрочных задачах. Речь идёт о своего рода «вкусе», то есть чутье на то, какой путь в долгосрочной перспективе окажется лучше.
Что показывает тест
Результат отрезвляет. Лучшая из протестированных моделей, GPT-5.6 Sol, в простом выборе из двух вариантов выбирает правильный лишь чуть меньше чем в 60 % случаев. Когда вариантов всего два, это не уверенный показатель. Простое угадывание дало бы примерно половину попаданий.
Бросается в глаза и ещё один вывод: более долгие размышления почти ничего не меняют. Многие современные модели перед ответом могут потратить больше вычислительного времени на рассуждения. В математических задачах или задачах по программированию это часто помогает. Но для стратегического суждения, как следует из исследования, этот рычаг, похоже, мало что даёт.
Почему это важно на практике
ИИ-агенты — это системы, которые не просто отвечают на отдельные вопросы, а самостоятельно работают на протяжении многих шагов. Они планируют, выбирают инструменты и ставят промежуточные цели. В таких долгосрочных задачах мелкие ошибочные решения накапливаются. Кто рано свернёт в неудачную сторону, потом теряет много времени или вынужден начинать всё заново.
Поэтому такой ориентир, как Taste-Bench, полезен. Многие тесты проверяют, решена ли задача правильно. Здесь же вопрос в том, понимает ли агент, что вообще стоит делать. Это труднее измерить, потому что однозначного, сразу проверяемого решения обычно нет.
Для пользователей это означает: важные стратегические развилки по-прежнему должны проверять или определять сами люди. Агенты могут взять на себя рутинную работу и отдельные шаги. Стоит ли позволять им задавать направление, в критичных проектах нужно тщательно взвешивать. Это осторожный вывод из одного-единственного бенчмарка. Он показывает слабое место, но не даёт полной картины всех возможностей современных моделей.
