Können KI-Agenten auf Basis großer Sprachmodelle (LLM) die Arbeit von Fachleuten für Operations Research übernehmen, wenn sie nur die Originalunterlagen eines Kunden bekommen? Eine neue Arbeit auf arXiv stellt dazu den Benchmark OR-License vor. Er basiert auf echten, bezahlten Beratungsprojekten. Das Ergebnis ist gemischt: Einzelne Lösungen übertreffen die Experten, aber im Gesamtbild erreicht kein Modell deren Zuverlässigkeit.

Was ist passiert

Laut der Veröffentlichung in der Rubrik Computation and Language besteht OR-License aus 31 Aufgaben (Instanzen) aus 10 industriellen Szenarien. Sie stammen aus bezahlten OR-Projekten mit einem Gesamtvolumen von 3,68 Millionen US-Dollar. Nach der Anonymisierung bleiben die ursprünglichen Anforderungen, die Eingabedaten, die geforderten Lieferformate und die Informationsgrenzen des Kunden erhalten.

Das unterscheidet den Benchmark von vielen früheren Tests. Dort beginnt die Aufgabe meist mit einer abgeschlossenen Textbeschreibung oder einem bereits formulierten Optimierungsproblem. Die schwierige Übersetzung vom unübersichtlichen Geschäftsmaterial zur fachlich geprüften Lösung kommt dabei kaum vor.

Der Kundensimulator ORSim

Echte Projekte laufen nicht nur über Dokumente, sondern über Rückfragen. Dafür führen die Autoren ORSim ein, einen kontrollierten Kundensimulator. Er gibt Geschäftsfakten preis, liefert aber kein OR-Fachwissen. Der Agent muss also selbst herausfinden, welche Informationen fehlen, und gezielt nachfragen.

Bewertung gegen die Expertenlösung

Die Auswertung bleibt für die Agenten verborgen. Sie prüft zuerst, ob eine Lieferung zulässig (feasible) ist. Danach vergleicht sie die Qualität der Zielfunktion mit der ursprünglichen Expertenlösung, die der Kunde vor dem Aufbau des Benchmarks bereits akzeptiert hatte.

Als Hauptkennzahl dient die Deployment-Adjusted Quality (DAQ). Sie bildet den Durchschnitt der Qualität relativ zum Experten über alle Instanzen. Unzulässige Lieferungen erhalten null Punkte. Die Expertenreferenz liegt damit bei 1.

Die Ergebnisse

Getestet wurden 11 führende Sprachmodelle, die in Coding-Agent-Umgebungen liefen. Die wichtigsten Befunde:

  • Mehrere Modelle übertreffen die Expertenreferenz bei der bedingten Zielqualität, also dort, wo sie überhaupt eine zulässige Lösung abliefern.
  • Kein Modell erreicht den DAQ-Wert der Experten.
  • Die stärkste Hauptkonfiguration mit Claude Code kommt auf 88,39 % strikte Zulässigkeit und einen DAQ von 0,87.
Kennzahl Expertenreferenz Stärkste Claude-Code-Konfiguration
DAQ 1 0,87
Strikte Zulässigkeit – 88,39 %

Die Autoren beobachten außerdem, dass die Informationsbeschaffung beim Kunden mehr umfasst als bloße Klärungsfragen. Sie zieht sich durch die Lösungsentwicklung und die Validierung. Bei einigen späteren Phasen ist der Anteil bestätigter, gelöster Probleme höher.

Die Analyse der Verläufe zeigt zwei typische Fehlerarten: Fehler bei der Formulierung des Problems und Fehler bei der Umsetzung. Die aufgabenbereinigte Abschlussquote der „Forschungskette“ liegt je nach Modell bei den auswertbaren Aufgaben zwischen 24 % und 45 %.

Hintergrund

Operations Research befasst sich mit der mathematischen Entscheidungsunterstützung in Unternehmen. Es geht um die Frage, wie sich knappe Ressourcen so einsetzen lassen, dass ein Ziel möglichst gut erreicht wird, etwa bei Planung, Zuteilung oder Ablaufsteuerung. Typisch ist ein Dreiklang aus Zielfunktion, Nebenbedingungen und Daten.

In der Praxis liegt die Hauptarbeit oft nicht im Lösen, sondern davor. Kunden liefern Tabellen, Anforderungen und Gesprächsnotizen, aber selten ein sauberes mathematisches Modell. Wer ein Modell baut, das eine wichtige Regel übersieht, erhält eine formal optimale, aber im Betrieb unbrauchbare Lösung. Deshalb zählt im neuen Benchmark die Zulässigkeit so stark: Eine Lieferung, die Regeln verletzt, bekommt keinen Teilpunkt.

Frühere OR-Benchmarks für Sprachmodelle prüfen meist, ob ein Modell aus einer gut beschriebenen Aufgabe ein Modell und eine Lösung ableiten kann. OR-License verschiebt den Fokus auf den gesamten Weg: Material lesen, Lücken erkennen, beim Kunden nachfragen, modellieren, umsetzen, prüfen und im vorgegebenen Format liefern. Das passt zu einem breiteren Trend, Agenten nicht mehr nur an kurzen Einzelaufgaben zu messen, sondern an langen, realistischen Abläufen.

Ein weiterer Beitrag auf arXiv, aus dem Bereich Artificial Intelligence, zeigt eine andere Facette dieses Trends. Der Benchmark RealtimeBench misst Agenten in Spielen, die während des Nachdenkens weiterlaufen. Dort zählt, dass eine richtige Aktion auch zu spät kommen kann. Beide Arbeiten teilen die Grundidee, dass reale Bedingungen Agenten anders fordern als abgeschlossene Laborfragen. Die Themen sind aber verschieden, und die Ergebnisse lassen sich nicht direkt vergleichen.

Was das bedeutet

Die Befunde sind eine Momentaufnahme eines Benchmarks mit 31 Instanzen. Verallgemeinerungen sollten vorsichtig ausfallen. Dennoch lassen sich einige praktische Schlüsse ziehen.

Für Entwickler von Agentensystemen

Die Fehleranalyse legt nahe, dass vor allem die Problemformulierung und die saubere Implementierung kritisch sind. Wer Agenten für Optimierungsaufgaben baut, kann daraus ableiten:

  • Die Zulässigkeit sollte automatisch geprüft werden, bevor ein Ergebnis ausgeliefert wird.
  • Rückfragen an Kunden oder Fachabteilungen sollten nicht nur am Anfang stehen, sondern auch während der Lösung und bei der Validierung möglich sein.
  • Aus Fehlern sollte der Agent nachvollziehbar lernen. Die Autoren sprechen von Selbstverbesserung, die mit Belegen verknüpft ist.

Für kleine und mittlere Unternehmen

Der Abstand zwischen 0,87 und 1 klingt klein. Er bedeutet aber, dass selbst die stärkste Konfiguration nicht an die Verlässlichkeit der Experten heranreicht, weil unzulässige Lieferungen mit null in den Durchschnitt eingehen. Wer erwägt, Optimierungsaufgaben wie Planung oder Zuteilung mit einem Agenten anzugehen, sollte die Ergebnisse daher fachlich prüfen lassen. Besonders wichtig ist die Kontrolle, ob alle Geschäftsregeln eingehalten werden. Dass einzelne Lösungen besser als die der Experten ausfallen, ist ein Hinweis auf Potenzial, aber kein Freibrief.

Für interessierte Leserinnen und Leser

Die Studie zeigt, dass gute Sprachmodelle nicht automatisch gute Berater sind. Beratung heißt, unvollständige Informationen zu erkennen, die richtigen Fragen zu stellen und ein Problem treu zu übersetzen. Die Abschlussquoten der Forschungskette von 24 % bis 45 % machen deutlich, dass lange Aufgabenketten bislang oft nicht komplett durchlaufen werden.

Insgesamt sprechen die Autoren von drei Entwicklungsrichtungen für verlässliche Agenten über lange Zeiträume: Informationslücken dauerhaft schließen, Probleme originalgetreu formulieren und sich anhand von Belegen selbst verbessern. Ob das gelingt, müssen weitere Untersuchungen mit mehr Aufgaben zeigen.

Häufige Fragen

Was ist OR-License?

OR-License ist ein End-to-End-Benchmark mit 31 Fällen aus 10 industriellen Szenarien. Die Fälle stammen aus bezahlten Operations-Research-Projekten und behalten nach der Anonymisierung Anforderungen, Daten und Lieferformate bei.

Was unter­schei­det den Benchmark von früheren OR-Tests?

Frühere Tests starten meist mit einer fertigen Beschreibung oder Optimierungsaufgabe. OR-License geht von den originalen Kundenunterlagen aus, ohne dass vorher ein Experte das Problem umformuliert.

Was misst die Kennzahl DAQ?

Deployment-Adjusted Quality mittelt die Qualität relativ zur Expertenlösung über alle Fälle. Unzulässige Lieferungen erhalten dabei den Wert null.

Wie schneiden die getes­teten Modelle ab?

Getestet wurden 11 führende LLMs. Einige übertreffen die Expertenlösung bei der bedingten Zielqualität, aber keines erreicht deren DAQ. Die beste Claude-Code-Konfiguration kommt auf 88,39 % strikte Zulässigkeit und einen DAQ von 0,87 gegenüber 1.

Woran scheitern die Agenten vor allem?

Die Analyse der Verläufe nennt Fehler bei der Problemformulierung und der Umsetzung. Die Abschlussrate der Forschungskette liegt je nach Modell zwischen 24 % und 45 %.