Taste-Bench: KI-Agenten tun sich mit Weitsicht schwer

Laut The Decoder haben Forscher einen neuen Benchmark namens Taste-Bench entwickelt. Er soll messen, wie gut KI-Agenten bei langfristigen Aufgaben strategische Entscheidungen treffen. Gemeint ist eine Art „Geschmack“, also ein Gespür dafür, welcher Weg auf Dauer der bessere ist.

Was der Test zeigt

Das Ergebnis fällt ernüchternd aus. Das beste getestete Modell, GPT-5.6 Sol, wählt bei simplen Zweier-Entscheidungen nur in knapp 60 Prozent der Fälle die richtige Option. Bei einer Auswahl zwischen nur zwei Möglichkeiten ist das kein souveräner Wert. Reines Raten würde etwa die Hälfte der Fälle treffen.

Auffällig ist ein weiterer Befund: Längeres Nachdenken ändert daran kaum etwas. Viele aktuelle Modelle können vor einer Antwort mehr Rechenzeit in Überlegungen stecken. Bei Rechenaufgaben oder Programmierproblemen hilft das oft. Für strategisches Urteilsvermögen scheint dieser Hebel laut der Studie jedoch wenig zu bringen.

Warum das für die Praxis zählt

KI-Agenten sind Systeme, die nicht nur einzelne Fragen beantworten, sondern über viele Schritte hinweg selbstständig arbeiten. Sie planen, wählen Werkzeuge aus und setzen Zwischenziele. Bei solchen Langzeit-Aufgaben summieren sich kleine Fehlentscheidungen. Wer früh in eine ungünstige Richtung abbiegt, verliert später viel Zeit oder muss ganz von vorn beginnen.

Deshalb ist ein Maßstab wie Taste-Bench nützlich. Viele Tests prüfen, ob eine Aufgabe korrekt gelöst wird. Hier geht es um die Frage, ob ein Agent erkennt, was sich überhaupt zu verfolgen lohnt. Das ist schwerer zu messen, weil es selten eine eindeutige, sofort überprüfbare Lösung gibt.

Für Anwenderinnen und Anwender heißt das: Wichtige strategische Weichenstellungen sollten Menschen weiterhin prüfen oder selbst treffen. Agenten können Routinearbeit und Teilschritte übernehmen. Ob sie eine Richtung vorgeben dürfen, sollte man bei kritischen Projekten sorgfältig abwägen. Das ist eine vorsichtige Schlussfolgerung aus einem einzelnen Benchmark. Er zeigt eine Schwäche, aber kein vollständiges Bild aller Fähigkeiten heutiger Modelle.