Чтобы запустить предобученную ИИ-модель на небольшом встраиваемом устройстве, её обычно приходится кропотливо подгонять вручную. Согласно публикации на arXiv, исследовательская группа представляет для этого AgentDP. Система использует большие языковые модели (LLM) в роли агентов, которые в значительной степени самостоятельно берут на себя оптимизацию и адаптацию модели.

Почему адаптация так трудоёмка

Встраиваемые устройства сильно различаются по аппаратной и программной части. Модель, которая без проблем работает на сервере, часто не подходит напрямую к среде выполнения такого устройства. Поэтому обычно требуется несколько шагов: уменьшить модель, переделать отдельные её части и подобрать подходящие настройки. Это стоит времени и требует специальных знаний. AgentDP объединяет LLM со специфичными для устройств знаниями предметной области, чтобы агенты могли лучше управлять этими шагами.

Три технических компонента

Авторы называют три ключевые проблемы и для каждой — своё решение:

  • Уточнение требований: модуль стандартизации пользовательских требований должен помочь пользователям чётко формулировать свои пожелания.
  • Согласование со средой: разделение модели с учётом операторов должно эффективно выполнять разные части модели на разных движках инференса. Движок инференса — это программа, которая фактически выполняет вычисления модели на устройстве.
  • Экономия поиска: модуль повторного использования конфигураций эвристически извлекает прежние настройки гиперпараметров. Так при новых задачах не нужно каждый раз начинать поиск с нуля.

Что показывают эксперименты

Согласно приведённым данным, AgentDP сокращает общее время адаптации до 80 % по сравнению с ручной работой. При этом система в среднем достигает точности более чем на 13 % выше, чем у сравниваемых методов. Кроме того, исследование с участием пользователей должно показать, что подход можно приспосабливать к разным требованиям для разнородных устройств.

Оценка

Это данные авторов из предварительной публикации. Тем, кто планирует собственные проекты со встраиваемыми системами, стоит проверить, подходят ли тестовые конфигурации к их оборудованию. Подход особенно интересен командам, которым нужно развернуть модель на множестве разных устройств.