Диффузионные языковые модели (dLLM) считаются возможной альтернативой привычным авторегрессионным языковым моделям. Две новые работы на arXiv показывают, где это может быть оправдано: в управлении состоянием ИИ-агентов и в ускорении генерации текста. Для тех, кто создаёт или выбирает агентов и языковые модели, это сигнал о том, что у нового семейства моделей есть собственные сильные стороны.
Что произошло
В центре внимания работа «DiffuPlan: Editable Planning State for Diffusion Language Model Agents» из раздела Computation and Language на arXiv. По словам авторов, агенты на основе диффузии пока в основном перенимают схему взаимодействия, разработанную для авторегрессионных моделей. В ней промежуточное состояние записывается один раз. Новые наблюдения затем можно лишь добавлять в виде дополнительного текста.
Авторы считают, что это плохо согласуется с природой диффузионных моделей. Диффузионные модели умеют восстанавливать прежний текст, учитывая контекст, который стоит до и после него. При простом добавлении текста в конец эта способность остаётся неиспользованной.
Подход DiffuPlan
DiffuPlan — поисковый агент на основе диффузии. Он ведёт единое редактируемое состояние планирования. Если позднее найденная подсказка разрешает неоднозначность сущности или меняет маршрут поиска, агент реконструирует только затронутые шаги плана. Остальная часть плана остаётся без изменений.
Для этого авторы добавили два компонента:
- Expansion-Partition Marginalization (EPM): метод для правок разной длины. Он маргинализирует по равноценным путям расширения. Иными словами, учитывает несколько путей, ведущих к одному и тому же результату.
- Reinforcement learning по диффузионным траекториям для многошагового поиска: обучение с подкреплением на диффузионных путях адаптируется так, чтобы подходить для поисковых диалогов из нескольких раундов.
Результаты
На четырёх бенчмарках Multi-Hop-QA DiffuPlan, согласно статье, достигает среднего значения F1 в 50.24. Тем самым он превосходит сильные авторегрессионные поисковые агенты.
Ещё интереснее контролируемое сравнение. При одинаковых данных и одинаковом обучении редактируемое состояние планирования улучшает диффузионного агента на 2.44 F1. У авторегрессионной базовой модели прирост составляет лишь 0.47.
| Тип модели | Прирост от редактируемого состояния планирования (F1) |
|---|---|
| Диффузионный агент (DiffuPlan) | 2.44 |
| Авторегрессионная базовая модель | 0.47 |
Авторы делают вывод, что диффузионным моделям не нужно имитировать авторегрессионных агентов с логикой «только добавлять». Пересмотр уже зафиксированных состояний, по их мнению, — самостоятельное преимущество.
Вторая работа: более быстрое декодирование
Другая работа на arXiv, «PV-Decoding: Progressive Verification Decoding with Decode Gating for Diffusion Language Models», посвящена иной проблеме — эффективности при инференсе. Диффузионные модели обновляют несколько токенов параллельно. Сложность возникает, когда нужно надёжно принять предварительные предсказания.
При спекулятивном декодировании спекулятивные токены внутри одного диффузионного блока могут зависеть друг от друга. Если принимать их слишком щедро, возникает риск распространения ошибок. Строгая же проверка, в свою очередь, требует больших вычислительных затрат.
PV-Decoding с помощью двух порогов уверенности делит замаскированные позиции на три группы:
- токены, декодируемые сразу,
- спекулятивные токены,
- пока не определённые токены.
Затем спекулятивные токены проверяются всё более сильными стратегиями: Single-Batch, Dual-Batch и Multi-Batch. Тестирование проводилось на трёх диффузионных языковых моделях на GSM8K, MBPP и HumanEval. По словам авторов, число последовательных прямых проходов модели по сравнению с декодированием на основе уверенности снижается на 8–37 процентов. Наибольшая зафиксированная потеря точности составляет 1.3 процента.
Предпосылки
Большинство известных языковых моделей авторегрессионные: они генерируют текст токен за токеном слева направо. Написанное остаётся на месте. Поэтому агент на такой основе ведёт растущий протокол из мыслей, поисковых запросов и наблюдений. Новое добавляется внизу, а старые предположения в лучшем случае корректируются позже по ходу текста.
Диффузионные языковые модели работают иначе. Они начинают с замаскированных позиций и заполняют текст за несколько проходов. Несколько мест могут обновляться одновременно, и модель может заново оценивать текст в свете того, что стоит после него. На этом основан DiffuPlan.
Почему многошаговый поиск — подходящий тест
В многошаговых (Multi-Hop) вопросах агенту нужно последовательно связать несколько фрагментов информации. Ответ на первый шаг часто определяет, что искать на втором. План может посреди выполнения оказаться неполным или неверным. Если только более поздний результат поиска проясняет, о каком человеке или объекте идёт речь, было бы разумно сразу скорректировать затронутые шаги плана, а не просто дополнять его.
Две стороны одного развития
Эти работы рассматривают разные слабые места. DiffuPlan задаётся вопросом, как агент может использовать особые возможности диффузионных моделей. PV-Decoding задаётся вопросом, как ускорить инференс, не слишком снижая точность. Обе работы относятся к тренду на то, чтобы сделать диффузионные модели пригодными для повседневного использования — как с точки зрения поведения в роли агента, так и с точки зрения вычислительных затрат.
Важны рамки: это исследовательские работы на сервере препринтов. Результаты получены самими авторами и справедливы для указанных бенчмарков.
Что это означает
Для разработчиц и разработчиков
Те, кто создаёт агентов, часто бездумно перенимают паттерн «добавлять историю в конец». DiffuPlan позволяет предположить, что тип модели влияет и на то, как разумно вести состояние. У авторегрессионной модели редактируемое состояние планирования дало лишь небольшой выигрыш, у диффузионного агента — заметно больший. Поэтому может быть полезно рассматривать архитектуру агента и семейство модели вместе.
Практична и идея пересчитывать только затронутые шаги. Сохраняется ли эффект за пределами протестированных бенчмарков, из материала не следует, и это стоит проверить до применения.
В случае PV-Decoding стоит обратить внимание на компромисс между точностью и эффективностью. Более слабая проверка создаёт меньше дополнительных затрат, более сильная повышает точность попаданий и устойчивость. Собственные измерения на собственном оборудовании по-прежнему имеют смысл.
Для малых предприятий
Небольшим командам, которые хотят использовать языковые модели для исследований или справочных функций, не нужно делать из этого вывод о спешке. Эти работы — результаты исследований, а не готовые продукты. Но они показывают, что альтернативы классическим моделям становятся зрелее. При выборе в будущем можно будет спрашивать не только о качестве и вычислительных затратах, но и о том, насколько хорошо модель способна задним числом скорректировать промежуточный план.
Для всех, кто пользуется ИИ-инструментами
Интересно прежде всего направление. Поисковый ассистент, который аккуратно корректирует свой план, как только находит что-то новое, мог бы надёжнее работать с многошаговыми вопросами. Модель, которая декодирует быстрее, могла бы выдавать ответы оперативнее. Пока что и то и другое — перспектива, вытекающая из экспериментов, а не гарантия для доступных сегодня инструментов.
Открытые вопросы
- Результаты DiffuPlan получены на четырёх бенчмарках многошагового QA. Переносимость на другие задачи ещё предстоит проверить.
- PV-Decoding тестировался на трёх диффузионных моделях и трёх бенчмарках.
- Обе работы — препринты. Независимые проверки могут дать дополнительную ясность.
Частые вопросы
Что такое DiffuPlan?
DiffuPlan — это поисковый агент на основе диффузионной языковой модели. Он ведёт единое редактируемое состояние планирования и при поступлении новых свидетельств меняет только затронутые шаги.
Чем этот подход отличается от авторегрессионных агентов?
Авторегрессионные агенты обычно могут учесть новые наблюдения, лишь дописывая текст. DiffuPlan способен пересматривать уже написанное состояние планирования, поскольку диффузионные модели умеют восстанавливать прежний текст с учётом контекста до и после него.
Какие результаты приводятся?
На четырёх бенчмарках многошагового QA DiffuPlan достигает в среднем 50,24 F1 и превосходит сильных авторегрессионных поисковых агентов.
Насколько велико преимущество редактируемого состояния?
При тех же данных и том же обучении редактируемое состояние планирования улучшает диффузионного агента на 2,44 F1, а авторегрессионную базовую модель — лишь на 0,47 F1.
Что такое Expansion-Partition Marginalization (EPM)?
EPM — это метод, поддерживающий правки переменной длины. Он выполняет маргинализацию по эквивалентным путям расширения.
