Исследователи представили TGR-EvoDAG — фреймворк, в котором несколько ИИ-агентов самостоятельно развивают код рекомендательной системы. Он нацелен на генеративные рекомендации (Generative Recommendation, GR), то есть на рекомендации, которые формируются в нескольких последовательных модулях. Согласно статье, его опробовали и на крупной коммерческой медиаплатформе Tencent. Поэтому работа интересна всем, кто следит за тем, насколько далеко ИИ-агенты уже продвинулись в реальных производственных системах.
Что произошло
Согласно публикации на arXiv, TGR-EvoDAG решает дилемму, существующую в исследованиях «рекурсивного самоулучшения». В этом подходе LLM-агенты раз за разом сами улучшают код, чтобы находить более удачные алгоритмы. Для рекомендательных систем до сих пор существовало два лагеря:
- Универсальные фреймворки ведут широкий поиск, но не получают специализированной обратной связи из мира рекомендаций.
- Фреймворки, ориентированные на рекомендации, знают предметную область, но развивают код только линейно, то есть по одной-единственной линии.
По словам авторов, простое объединение обоих подходов в случае GR не работает. GR — это не одна сквозная модель (end-to-end), а цепочка из токенизации, предварительного обучения (pre-training) и выравнивания (alignment).
Две проблемы существующих методов
- Слепота к затратам: существующие методы не учитывают, что повторное обучение на разных стадиях требует разных усилий. Из-за этого они расходуют вычислительный бюджет впустую.
- Близорукая оценка: нововведение на ранней стадии может поначалу ухудшить показатели — до тех пор, пока последующие стадии не адаптируются. Перспективные идеи в таком случае отбрасываются слишком рано.
Как работает TGR-EvoDAG
- Моделирование в виде DAG: развитие кода представлено в виде направленного ациклического графа (Directed Acyclic Graph). Благодаря этому сохраняются несколько ветвей развития, а взаимодополняющие нововведения можно объединять. Кроме того, система получает подробную диагностическую обратную связь, специфичную для GR.
- Планирование затрат с учётом стадий: бюджет GPU-часов распределяется с учётом того, что на разных стадиях повторное обучение требует разных усилий.
- Активная совместная адаптация последующих стадий: последующие стадии целенаправленно подстраиваются под изменение, внесённое на более ранней стадии. Так удаётся преодолевать временные ухудшения, а выигрыш, охватывающий сразу несколько стадий, становится достижимым.
Результаты вкратце
По данным авторов, на открытых датасетах Amazon TGR-EvoDAG впервые позволяет автономно развивать полный GR-конвейер. На медиаплатформе Tencent разработанная система улучшилась как офлайн, так и онлайн.
| Измерение | Среда | Результат |
|---|---|---|
| Офлайн-метрики | Датасеты Amazon | до 37,4 % лучше, чем сильнейший базовый метод |
| Смоделированная удовлетворённость пользователей (Agent4Rec) | Датасеты Amazon | на 19,7 % лучше, чем сильнейший базовый метод |
| Офлайн-Hit@1 | Платформа Tencent | относительное улучшение на 12,16 % |
| Кликабельность (CTR) онлайн | Платформа Tencent | рост на 0,40 %, статистически значимый |
Предыстория
От классических рекомендательных систем к Generative Recommendation
Классические рекомендательные системы обычно оценивают кандидатов с помощью скора. Generative Recommendation, напротив, подходит к рекомендациям примерно так же, как к генерации текста. Контент переводится в дискретные единицы (токенизация), модель учится находить закономерности в поведении пользователей (предварительное обучение, pre-training), после чего её настраивают на конечную цель (выравнивание, alignment).
Эти этапы зависят друг от друга. Если изменить токенизацию, последующие этапы, как правило, приходится перенастраивать. Тот, кто измеряет результат сразу после изменения, может упустить хорошую идею. А тот, кто относится ко всем изменениям одинаково, впустую тратит вычислительное время.
Эволюция кода с помощью агентов
LLM-агенты пишут код, тестируют его и дорабатывают с учётом обратной связи. При линейной эволюции существует только одна «текущая лучшая» версия. Графовый подход держит открытыми несколько линий и может объединять удачные части разных линий — подобно ветвлению и слиянию в системах контроля версий.
Взгляд на смежные инструменты
В другой статье на arXiv представлен опенсорсный фреймворк RSIHub, который предлагает общую инфраструктуру для создания и сравнения эволюции агентов. По словам авторов, рейтинг методов там меняется в зависимости от среды, а улучшения не всегда переносятся на ранее не встречавшиеся задачи. Это касается других задач, нежели TGR-EvoDAG, и не может быть напрямую перенесено на его результаты.
Что это значит
Для разработчиков
Для многоступенчатых конвейеров, судя по всему, недостаточно сразу оценивать каждое изменение по единственному показателю. Тем, кто использует агентов для оптимизации кода, стоит проверить, не штрафует ли их собственная оценка изменения, польза которых проявляется только после настройки последующих этапов. Кроме того, вопрос о том, какой этап можно недорого переобучить, способен улучшить распределение вычислительного бюджета.
Для компаний с рекомендательными системами
Применение в Tencent показывает, что подход работает не только на исследовательских данных. Онлайн-прирост кликабельности в 0,40 % выглядит небольшим, но, по данным авторов, считается статистически значимым. Небольшим компаниям стоит быть осторожными: из материала не ясно, сколько вычислительных ресурсов в целом требует этот подход. Это следует тщательно проверить заранее.
Для пользователей
Прямой эффект пока невелик. Рекомендации со временем могут становиться точнее, если такие методы получат широкое распространение. Вместе с тем агенты всё чаще берут на себя отдельные части разработки, что поднимает вопросы контроля и прослеживаемости.
Ограничения выводов
Речь идёт о препринте, то есть об утверждениях авторов. Сравнения относятся к самому сильному базовому методу (baseline) в рамках исследования. Повторятся ли эти цифры в других средах, из материала вывести нельзя.
Частые вопросы
Что такое TGR-EvoDAG?
TGR-EvoDAG — это мультиагентный фреймворк для эволюции кода, созданный специально для генеративных рекомендательных систем (Generative Recommendation, GR). Он использует LLM-агентов, которые автоматически развивают код.
Как работает TGR-EvoDAG?
Фреймворк представляет эволюцию кода в виде направленного ациклического графа (DAG). Благодаря этому сохраняются несколько ветвей развития, а дополняющие друг друга новшества можно объединять. Кроме того, в нём есть планирование затрат на GPU-часы с учётом стадий и активная корректировка последующих стадий.
Какие результаты показал TGR-EvoDAG на открытых датасетах?
По данным авторов, на открытых датасетах Amazon фреймворк впервые обеспечил автономную эволюцию полного GR-конвейера. Офлайн-метрики выросли до 37,4 %, а смоделированная удовлетворённость пользователей в Agent4Rec — на 19,7 % по сравнению с сильнейшим базовым методом.
Что показало применение в Tencent?
На коммерческой медиаплатформе Tencent разработанная GR-система достигла относительного улучшения Hit@1 на 12,16 % в офлайн-режиме. Кликабельность (CTR) в онлайн-режиме статистически значимо выросла на 0,40 %.
