Wer ein vortrainiertes KI-Modell auf einem kleinen eingebetteten Gerät laufen lassen will, muss es meist mühsam von Hand anpassen. Laut einer Veröffentlichung auf arXiv stellt das Forschungsteam dafür AgentDP vor. Das System setzt große Sprachmodelle (LLMs) als Agenten ein, die Optimierung und Anpassung des Modells weitgehend selbstständig übernehmen.

Warum die Anpassung so aufwendig ist

Embedded-Geräte unterscheiden sich stark in Hardware und Software. Ein Modell, das auf einem Server problemlos läuft, passt oft nicht direkt zur Laufzeitumgebung eines solchen Geräts. Deshalb sind meist mehrere Schritte nötig: das Modell verkleinern, einzelne Teile umbauen und passende Einstellungen finden. Das kostet Zeit und Fachwissen. AgentDP verbindet die LLMs mit gerätespezifischem Domänenwissen, damit die Agenten diese Schritte besser steuern können.

Drei technische Bausteine

Die Autoren nennen drei Kernprobleme und jeweils eine Lösung:

  • Anforderungen klären: Ein Modul zur Standardisierung von Nutzeranforderungen soll Anwendern helfen, ihre Wünsche klar zu formulieren.
  • Umgebung abgleichen: Eine operatorbewusste Modellaufteilung soll verschiedene Teile des Modells auf unterschiedlichen Inferenz-Engines effizient ausführen. Die Inferenz-Engine ist die Software, die ein Modell auf dem Gerät tatsächlich berechnet.
  • Suche sparen: Ein Modul zur Wiederverwendung von Konfigurationen holt frühere Hyperparameter-Einstellungen heuristisch hervor. So muss bei neuen Aufgaben nicht jedes Mal von vorn gesucht werden.

Was die Experimente zeigen

Laut den Angaben verkürzt AgentDP die gesamte Anpassungszeit um bis zu 80 % gegenüber manueller Arbeit. Zugleich erreicht das System im Schnitt mehr als 13 % höhere Genauigkeit als die Vergleichsverfahren. Eine Nutzerstudie soll außerdem zeigen, dass sich der Ansatz an unterschiedliche Anforderungen für heterogene Geräte anpassen lässt.

Einordnung

Es handelt sich um die Angaben der Autoren in einer Vorabveröffentlichung. Wer eigene Embedded-Projekte plant, sollte prüfen, ob die Testaufbauten zur eigenen Hardware passen. Interessant ist der Ansatz vor allem für Teams, die ein Modell auf vielen verschiedenen Geräten bereitstellen müssen.