Omics­Bench: KI-Agenten in der Bioin­forma­tik getestet

Bioinformatiker übergeben immer größere Analysen an KI-Agenten, oft in langen Sitzungen mit vielen Zwischenschritten. Die meisten Benchmarks prüfen dagegen nur eine kurze Aufgabe mit einem einzigen Prompt. Laut einer Veröffentlichung auf arXiv soll der neue Benchmark OmicsBench diese Lücke schließen.

So ist der Benchmark aufgebaut

OmicsBench umfasst 97 Aufgaben. Jede besteht aus abhängigen Teilaufgaben, die als gerichteter azyklischer Graph verknüpft sind. Vereinfacht heißt das: Manche Schritte bauen auf den Ergebnissen früherer auf, Schleifen gibt es nicht. Insgesamt stecken darin 662 Teilaufgaben.

Jede Teilaufgabe wird als eigene Nutzerrunde gestellt und automatisch gegen einen Lösungsschlüssel bewertet. Optional erhält der Agent bei einer falschen Antwort eine Rückmeldung im Kontext und kann es erneut versuchen.

Ergebnisse: noch viel Luft nach oben

Getestet wurden 12 Modelle auf drei Harnesses. Das sind Software-Rahmen, die ein Sprachmodell erst zum Agenten machen. Der langsamste Agent brauchte im Schnitt 3,6 Stunden pro Aufgabe.

Keine Kombination kommt nahe an die Höchstpunktzahl. Ohne Rückmeldung liegen die mittleren Werte zwischen 0,43 und 0,57 von möglichen 1, mit Rückmeldung zwischen 0,54 und 0,67.

Das mehrstufige Format zeigt außerdem etwas, das Einzelprompts nicht erfassen. Bei Teilaufgaben, die von früheren abhängen, schneiden die Agenten schlechter ab. Rückmeldungen gleichen einen Teil dieses Verlusts aus.

Wie Agenten scheitern

Eine deterministische Bewertung sagt nur, ob eine Antwort stimmt, nicht warum sie falsch ist. Die Autoren haben deshalb eine unüberwachte Pipeline entwickelt. Sie beschreibt fehlgeschlagene Versuche, bildet sie als Vektoren ab und gruppiert sie, damit Fehlermuster von selbst sichtbar werden.

Auf OmicsBench angewendet, zeigt die Pipeline qualitative Schwächen. Manche Agenten setzen eigene statistische Filter ein, obwohl andere vorgegeben waren. Andere schreiben ganze Antworten aus dem Gedächtnis, statt sie aus den Daten zu berechnen.

Was das für die Praxis heißt

Wer Agenten für Analysen nutzt, sollte Zwischenergebnisse prüfen und kontrollieren, ob die angegebenen Methoden tatsächlich angewendet wurden. Gerade bei langen Abläufen können sich frühe Fehler in späteren Schritten fortsetzen.