Wer ein feinabgestimmtes Coaching-Modell bewerten will, braucht meist Fachleute als Prüfer. Das ist langsam und teuer. Ein LLM als Richter ist günstiger, doch ohne Referenzwerte lässt sich seinem Urteil nicht einfach trauen. Laut einer Vorveröffentlichung auf arXiv soll eine gestufte Pipeline helfen, Kandidaten schon vor der Expertenprüfung auszusortieren.
Wie die Pipeline arbeitet
Richter-Modelle und die zu bewertenden Schülermodelle durchlaufen mehrere Stufen, jeweils mit ausdrücklichen Entscheidungsregeln. Geprüft werden die Ausgaben der Richter selbst, die Ähnlichkeit zu gehosteten Richtern, mögliche Verzerrungen und die Robustheit der Entscheidung. Die letzte Stufe wäre die Verankerung am Urteil von Experten. Sie wird in der Arbeit vorgeschlagen, aber nicht durchgeführt.
Als Beispiel dient ein KI-Coach für Zahnhygiene. Trainings- und Referenzdaten sind synthetisch und klinisch nicht validiert. Die Fallstudie zeigt also, wie die Pipeline arbeitet. Über die klinische Qualität der Modelle sagt sie nichts.
Was die Fallstudie zeigt
Verglichen wurden zwei kleine Sprachmodelle, Granite-4.1-8B und Qwen3-8B, jeweils mit drei Datenmengen trainiert. Fünf Richter bewerteten sie auf sieben Metriken, drei davon lokal und zwei gehostet. Zwei lokale Richter, Qwen3.8-27B und Gemma-4-31B-it, waren bei sechs von sieben Metriken per Rangkorrelation nicht von der Übereinstimmung der beiden gehosteten Richter zu unterscheiden. Insgesamt ähnelte Qwen3.8-27B den gehosteten Richtern am meisten. Kein Richter erfüllte das Kriterium dafür, die eigene Modellfamilie oder die eigene Datenquelle zu bevorzugen.
Die beiden Schülermodelle trennte die Pipeline bei keiner Metrik. Granite-4.1-8B lag in 29 von 35 Kombinationen aus Richter und Metrik vorn. Die Autoren werten das nur als Tendenz, denn sie hängt teilweise an abgeschnittenen Ausgaben von Qwen3-8B.
Die Pipeline machte auch Probleme sichtbar, die in den Rohwerten untergingen. Dazu zählen die abgeschnittenen Ausgaben und Halluzinationsmarkierungen eines gehosteten Richters, die kein anderer Richter bestätigte.
Einordnung
Kein Fachmann für Zahnhygiene hat die Antworten bewertet, die Ergebnisse sind daher vorläufig. Für Teams mit ähnlichen Aufgaben kann der Ansatz dennoch nützlich sein. Man kann Richter-Modelle vorab auf Auffälligkeiten prüfen und knappe Expertenzeit auf die verbleibenden Kandidaten lenken.
