Forscher haben mit TGR-EvoDAG ein Framework vorgestellt, in dem mehrere KI-Agenten den Code eines Empfehlungssystems selbstständig weiterentwickeln. Es zielt auf Generative Recommendation (GR), also Empfehlungen, die in mehreren aufeinander aufbauenden Modulen entstehen. Laut dem Beitrag wurde es auch auf einer großen kommerziellen Medienplattform von Tencent erprobt. Das macht die Arbeit für alle interessant, die verfolgen, wie weit KI-Agenten bei echten Produktionssystemen schon sind.

Was ist passiert

Laut der Veröffentlichung auf arXiv setzt TGR-EvoDAG an einem Dilemma der Forschung zur „rekursiven Selbstverbesserung“ an. Dabei verbessern LLM-Agenten Code immer wieder selbst, um bessere Algorithmen zu finden. Für Empfehlungssysteme gibt es bisher zwei Lager:

  • Allgemeine Frameworks suchen breit, bekommen aber kein fachspezifisches Feedback aus der Empfehlungswelt.
  • Empfehlungsspezifische Frameworks kennen die Domäne, entwickeln den Code aber nur linear, also in einer einzigen Linie.

Beides einfach zu kombinieren, funktioniert bei GR laut den Autoren nicht. GR ist kein einzelnes End-to-End-Modell, sondern eine Kette aus Tokenisierung, Pre-Training und Alignment.

Zwei Probleme bestehender Methoden

  1. Kostenblindheit: Bestehende Methoden ignorieren, dass das erneute Trainieren je nach Stufe unterschiedlich aufwendig ist. Dadurch verschwenden sie Rechenbudget.
  2. Kurzsichtige Bewertung: Eine Neuerung in einer frühen Stufe kann die Kennzahlen zunächst verschlechtern, bis die nachgelagerten Stufen sich angepasst haben. Vielversprechende Ideen werden dann vorschnell verworfen.

Wie funktioniert TGR-EvoDAG?

  • DAG-Modellierung: Die Code-Entwicklung wird als gerichteter azyklischer Graph (Directed Acyclic Graph) abgebildet. So bleiben mehrere Entwicklungszweige bestehen, und sich ergänzende Neuerungen lassen sich zusammenführen. Dazu kommt detailliertes, GR-spezifisches Diagnose-Feedback.
  • Stufenbewusste Kostenplanung: Das GPU-Stunden-Budget wird unter Berücksichtigung des unterschiedlichen Neutrainingsaufwands der Stufen verteilt.
  • Aktive nachgelagerte Ko-Adaption: Spätere Stufen werden gezielt an eine Änderung in einer früheren Stufe angepasst. So lassen sich vorübergehende Rückschritte überbrücken, und stufenübergreifende Gewinne werden erreichbar.

Die Ergebnisse im Überblick

Auf öffentlichen Amazon-Datensätzen ermöglicht TGR-EvoDAG nach Angaben der Autoren erstmals die autonome Evolution einer vollständigen GR-Pipeline. Auf Tencents Medienplattform verbesserte sich das entwickelte System offline und online.

Messung Umfeld Ergebnis
Offline-Metriken Amazon-Datensätze bis zu 37.4 % besser als die stärkste Baseline
Simulierte Nutzerzufriedenheit (Agent4Rec) Amazon-Datensätze 19.7 % besser als die stärkste Baseline
Offline-Hit@1 Tencent-Plattform 12.16 % relative Verbesserung
Klickrate (CTR) online Tencent-Plattform 0.40 % Anstieg, statistisch signifikant

Hintergrund

Von klassischen Empfehlern zu Generative Recommendation

Klassische Empfehlungssysteme bewerten Kandidaten meist mit einem Score. Generative Recommendation behandelt Empfehlungen dagegen ähnlich wie das Erzeugen von Text. Inhalte werden in diskrete Einheiten übersetzt (Tokenisierung), ein Modell lernt Muster im Nutzerverhalten (Pre-Training), und anschließend wird es auf das eigentliche Ziel ausgerichtet (Alignment).

Die Stufen hängen voneinander ab. Ändert man die Tokenisierung, müssen die späteren Stufen in der Regel neu angepasst werden. Wer nur das Ergebnis direkt nach der Änderung misst, kann eine gute Idee übersehen. Und wer jede Änderung gleich behandelt, verbrennt unnötig Rechenzeit.

Code-Evolution mit Agenten

LLM-Agenten schreiben Code, testen ihn und überarbeiten ihn anhand des Feedbacks. Bei einer linearen Evolution gibt es nur eine „aktuell beste“ Version. Ein Graph-Ansatz hält mehrere Linien offen und kann gute Teile verschiedener Linien kombinieren, ähnlich wie Verzweigungen und Zusammenführungen in der Versionsverwaltung.

Ein Blick auf verwandte Werkzeuge

Ein weiterer arXiv-Beitrag stellt das quelloffene Framework RSIHub vor, das gemeinsame Infrastruktur zum Bauen und Vergleichen von Agenten-Evolution bietet. Laut den Autoren variiert dort die Rangfolge der Methoden je nach Umgebung, und Verbesserungen übertragen sich nicht immer auf ungesehene Aufgaben. Das betrifft andere Aufgaben als TGR-EvoDAG und lässt sich nicht direkt auf dessen Resultate übertragen.

Was das bedeutet

Für Entwicklerinnen und Entwickler

Bei mehrstufigen Pipelines reicht es offenbar nicht, jede Änderung sofort an einer einzigen Kennzahl zu messen. Wer Agenten zur Code-Optimierung einsetzt, könnte prüfen, ob die eigene Bewertung Änderungen bestraft, die ihren Nutzen erst nach Anpassung der Folgestufen zeigen. Auch die Frage, welche Stufe sich günstig neu trainieren lässt, kann die Verteilung des Rechenbudgets verbessern.

Für Unternehmen mit Empfehlungssystemen

Der Tencent-Einsatz zeigt, dass der Ansatz nicht nur auf Forschungsdaten funktioniert. Der Online-Zuwachs bei der Klickrate wirkt mit 0.40 % klein, gilt aber laut den Autoren als statistisch signifikant. Für kleinere Anbieter ist Vorsicht angebracht: Aus dem Material geht nicht hervor, wie viel Rechenaufwand der Ansatz insgesamt benötigt. Das sollte man vorab sorgfältig prüfen.

Für Nutzerinnen und Nutzer

Der direkte Effekt ist vorerst gering. Empfehlungen könnten mit der Zeit treffsicherer werden, wenn solche Verfahren verbreitet zum Einsatz kommen. Zugleich übernehmen Agenten zunehmend Teile der Entwicklung, was Fragen nach Kontrolle und Nachvollziehbarkeit aufwirft.

Grenzen der Aussagen

Es handelt sich um einen Preprint, also um Angaben der Autoren. Die Vergleiche beziehen sich auf die jeweils stärkste Baseline der Studie. Ob sich die Zahlen in anderen Umgebungen wiederholen, lässt sich aus dem Material nicht ableiten.

Häufige Fragen

Was ist TGR-EvoDAG?

TGR-EvoDAG ist ein Multi-Agenten-Framework zur Code-Evolution, das speziell für generative Empfehlungssysteme (Generative Recommendation, GR) entwickelt wurde. Es nutzt LLM-Agenten, um den Code automatisch weiterzuentwickeln.

Wie funk­tio­niert TGR-EvoDAG?

Das Framework bildet die Code-Evolution als gerichteten azyklischen Graphen (DAG) ab. So bleiben mehrere Entwicklungszweige erhalten, und sich ergänzende Neuerungen lassen sich zusammenführen. Dazu kommen eine stufenbewusste Kostenplanung für GPU-Stunden und eine aktive Anpassung nachgelagerter Stufen.

Welche Ergeb­nisse erzielte TGR-EvoDAG auf öffent­lichen Daten­sät­zen?

Auf öffentlichen Amazon-Datensätzen ermöglichte es nach Angaben der Autoren erstmals die autonome Evolution einer vollständigen GR-Pipeline. Die Offline-Metriken stiegen um bis zu 37.4 %, die simulierte Nutzerzufriedenheit bei Agent4Rec um 19.7 % gegenüber der stärksten Baseline.

Was zeigte der Einsatz bei Tencent?

Auf der kommerziellen Medienplattform von Tencent erreichte das entwickelte GR-System eine relative Verbesserung von 12.16 % bei Hit@1 offline. Die Klickrate (CTR) stieg online statistisch signifikant um 0.40 %.