Wer LLM-Agenten mit Werkzeugzugriff einsetzt, kennt das Problem: Zwei Läufe aus exakt demselben Ausgangszustand enden nicht unbedingt gleich. Ein neuer Beitrag auf arXiv stellt mit Recursive Semantic Divergence (RSD) eine Kennzahl vor, die genau diese Unstetigkeit messen soll. Sie lässt sich außerdem als Trainingssignal nutzen, um Agenten verlässlicher zu machen.

Was ist passiert

Laut dem Beitrag „Recursive Semantic Divergence for LLM Agent Consistency“ zeigen LLM-Agenten mit Werkzeugnutzung ein uneinheitliches Verhalten. Startet man sie mehrfach unabhängig voneinander im selben Zustand, rufen sie mitunter unterschiedliche Werkzeuge auf, liefern widersprüchliche Ausgaben oder verfolgen abweichende Strategien. Diese Abweichungen verstärken sich nach Darstellung der Autoren im Lauf der Zeit und untergraben die Verlässlichkeit im praktischen Einsatz.

Was ist RSD?

RSD ist eine Kennzahl für die Konsistenz auf Ebene ganzer Verläufe (Trajektorien). Sie kommt ohne Aufsicht durch Labels aus (unsupervised) und ist aus sogenannten Bisimulationsmetriken des bestärkenden Lernens (Reinforcement Learning) abgeleitet. RSD misst die zu erwartende, über die Zeit aufsummierte inhaltliche Uneinigkeit zwischen zwei unabhängigen Durchläufen desselben Agenten ab demselben Startzustand.

Für die Bewertung, ob zwei Aussagen einander widersprechen, nutzt RSD Natural Language Inference (NLI). Dabei handelt es sich um ein Verfahren, das prüft, ob sich zwei Texte logisch vertragen oder ausschließen.

Wie funktioniert RSD?

Die Kennzahl ist rekursiv über künftige Zustände definiert: Die Abweichung jetzt ergibt sich aus der Abweichung im aktuellen Schritt plus der erwarteten Abweichung in den Folgeschritten. Da man die Zukunft nicht vollständig durchrechnen will, approximieren die Autoren diese Größe mit einem neuronalen Netz. Es wird auf unabhängigen Durchläufen trainiert.

Das trainierte Modell schätzt aus dem aktuellen Zustand, wie stark die Verläufe künftig auseinanderlaufen dürften. So erhält man in jeder Runde einen Konsistenzwert, ohne dass der gesamte Verlauf abgeschlossen sein muss.

Die Ergebnisse

Wird RSD als Belohnungssignal beim Feintuning verwendet, sinkt laut Studie die Streuung beim Aufgabenfortschritt auf zwei Benchmarks deutlich:

Benchmark Variation vorher Variation mit RSD
tau2-bench 132 % 91 %
toolsandbox 90 % 44 %

Zudem berichten die Autoren verbesserte Ergebnisse über mehrere Benchmarks und Modellgrößen hinweg. Wird RSD als zusätzliches Belohnungssignal eingesetzt, erreicht das Training die Ergebnisse von überwachtem Feintuning (Supervised Fine-Tuning), jedoch mit erheblich geringerer Varianz. Echte Referenzlabels (Ground Truth) braucht es dafür nicht.

Hintergrund

Die üblichen Bewertungen von Agenten fragen vor allem: Wurde die Aufgabe gelöst? Das geschieht meist über Abschlusswerte, also Scores, die den Erfolg eines Laufs bewerten. Wie stabil sich ein Agent über mehrere Läufe hinweg verhält, bilden solche Metriken kaum ab. Ein Agent kann im Durchschnitt gut abschneiden und trotzdem von Lauf zu Lauf stark schwanken.

Auch die bisherigen Analyseansätze zur Konsistenz haben eine Lücke. Man kann Verhalten auf Token-Ebene betrachten, also anhand der Wahrscheinlichkeitsverteilungen, mit denen das Modell das nächste Textstück wählt. Oder man schaut auf einzelne Antworten und gruppiert sie nach Bedeutung (semantisches Clustering). Beides erfasst nach Ansicht der Autoren nicht, wie sich eine Inkonsistenz über spätere Runden eines Verlaufs fortpflanzt. Genau das ist bei Agenten entscheidend: Sie handeln in mehreren Schritten, und eine frühe Abweichung kann spätere Entscheidungen verschieben.

Warum der Ansatz aus dem Reinforcement Learning stammt

Im Reinforcement Learning lernt ein Agent durch Belohnungen. Bisimulationsmetriken messen dort, wie ähnlich sich Zustände im Hinblick auf ihr künftiges Verhalten sind. RSD überträgt diesen Gedanken auf Sprachagenten: Statt Zuständen vergleicht es zwei unabhängige Läufe desselben Agenten und prüft die Bedeutung ihrer Ausgaben. Die Idee, Abweichungen rekursiv über die Zukunft aufzusummieren, passt gut zu mehrstufigen Aufgaben.

Ein Blick auf verwandte Arbeiten

Konsistenz ist auch in anderen Bereichen der Sprachverarbeitung ein Thema. Ein weiterer Beitrag aus derselben arXiv-Rubrik untersucht etwa, wie gut LLM-basierte Annotatoren mit menschlichen Bewertern übereinstimmen. Dort wird die Übereinstimmung mit dem Maß Fleiss-Kappa erfasst. Das Thema ist ein anderes, doch die Grundfrage ähnelt sich: Wie verlässlich und nachvollziehbar sind Entscheidungen von Sprachmodellen, wenn mehrere Instanzen urteilen? Die Studien sind nicht direkt vergleichbar und stützen sich nicht aufeinander.

Was das bedeutet

Die Ergebnisse stammen aus einer Vorabveröffentlichung auf arXiv. Sie sind also ein Forschungsstand, kein unabhängig bestätigter Standard. Dennoch lassen sich einige vorsichtige Schlüsse ziehen.

Was bedeutet RSD für Nutzer?

Für Menschen, die Agenten im Alltag einsetzen, etwa für Recherche, Terminplanung oder Kundenanfragen, ist Verlässlichkeit oft wichtiger als ein einzelner Spitzenwert. Wenn dieselbe Anfrage mal zum einen, mal zum anderen Ergebnis führt, leidet das Vertrauen. Konsistenzmessung wie RSD könnte dazu beitragen, dass Agenten auf gleiche Ausgangslagen berechenbarer reagieren. Ob und wann solche Verfahren in Produkten ankommen, geht aus dem Material nicht hervor.

Für Entwicklerinnen und Entwickler

  • RSD liefert einen Konsistenzwert pro Runde. Das kann helfen, unsichere Stellen in einem Verlauf zu erkennen, noch bevor der Lauf endet.
  • Die Kennzahl benötigt keine Referenzlabels. Das kann den Aufwand senken, wenn es für die eigene Aufgabe keine eindeutig richtigen Lösungen gibt.
  • Als zusätzliches Belohnungssignal beim Feintuning verringerte RSD in der Studie die Schwankungen. Wer eigene Agenten trainiert, könnte prüfen, ob ein ähnliches Signal im eigenen Setup sinnvoll ist.
  • Konsistenz sollte nicht allein stehen: Ein Agent, der immer denselben Fehler macht, wäre konsistent, aber nicht gut. Sinnvoll bleibt die Kombination mit Messungen der Aufgabenqualität.

Für kleine Unternehmen

Wer Agenten in Abläufe einbindet, etwa in Support oder interne Prozesse, sollte Läufe mehrfach aus gleichem Zustand testen, nicht nur einmal. Die Studie zeigt, dass die Streuung beim Aufgabenfortschritt erheblich sein kann. Eine solche Wiederholungsprüfung kann zeigen, ob der Agent verlässlich genug für den vorgesehenen Einsatz ist. Zu beachten ist: RSD stützt sich auf NLI-Modelle zur Erkennung von Widersprüchen. Deren eigene Fehler können die Messung beeinflussen. Das Material äußert sich dazu nicht im Detail, daher lohnt eine kritische Prüfung.

Offene Punkte

  • Die Ergebnisse beziehen sich auf die in der Studie genannten Benchmarks. Wie gut sie auf andere Aufgaben übertragbar sind, bleibt zu prüfen.
  • Die Zahlen zur Streuung beschreiben die Variation beim Aufgabenfortschritt, nicht die Zuverlässigkeit in jedem denkbaren Szenario.
  • Ob RSD in der Praxis breit eingesetzt wird, ist offen.

Häufige Fragen

Was ist RSD?

RSD steht für Recursive Semantic Divergence. Es ist eine unüberwachte Metrik auf Ebene ganzer Abläufe, die die Konsistenz von LLM-Agenten mit Werkzeugnutzung misst. Sie ist von Bisimulationsmetriken aus dem Reinforcement Learning abgeleitet.

Wie funk­tio­niert RSD?

RSD misst die zu erwartende, aufsummierte semantische Abweichung zwischen zwei unabhängigen Durchläufen desselben Agenten vom selben Zustand aus. Logische Widersprüche werden mit Natural Language Inference erkannt. Die Metrik ist rekursiv über zukünftige Zustände definiert und wird durch ein neuronales Netz angenähert.

Warum reichen bisherige Bewer­tungs­metri­ken nicht aus?

Gängige Metriken messen vor allem die Korrektheit der Aufgabenlösung über Abschlusswerte. Die Konsistenz des Agentenverhaltens über mehrere Durchläufe erfassen sie nicht, ebenso wenig, wie sich Abweichungen über spätere Schritte fortpflanzen.

Was bedeutet RSD für Nutzer?

Agenten, die mit RSD als Belohnung feinabgestimmt wurden, schwanken weniger im Aufgabenfortschritt: von 132 % auf 91 % bei tau2-bench und von 90 % auf 44 % bei toolsandbox. Das kann den Einsatz zuverlässiger machen.

Braucht RSD Ground-Truth-Labels?

Nein. Als zusätzliches Belohnungssignal erreicht RSD die Leistung des überwachten Fine-Tunings bei deutlich geringerer Varianz, ohne Ground-Truth-Labels.