Когда ИИ-агенты самостоятельно покупают и платят, возникают новые риски для безопасности. Согласно публикации на arXiv (рубрика cs.AI), речь идёт о поддельных идентификаторах агентов, неавторизованных платежах, захваченных агентах и злоупотреблении переданными полномочиями. Для этого авторы представляют фреймворк ACAGS.

Что объединяет ACAGS

ACAGS расшифровывается как Autonomous Commerce Agent Guard System. Он сочетает обучение с учителем, анализ поведения, специфичный для агентов контроль авторизации и объяснимый ИИ. Анализ поведения здесь означает, что система проверяет не только отдельную транзакцию, но и то, как агент обычно себя ведёт. В качестве классификатора авторы после сравнения с альтернативами выбрали XGBoost.

Результатом становится одно из трёх решений: APPROVE, REVIEW или REJECT. С помощью объяснений SHAP можно понять, почему модель оценила платёж именно так.

Что показывают тесты

Тестирование проводилось на синтетических финансовых данных, дополненных имитированными свойствами агентов. К ним добавились пять сценариев атак. За десять прогонов средний F1-score благодаря поведенческим признакам вырос с 52,12 % до 67,49 %. С признаками, специфичными для агентов, он достиг 69,46 %. F1-score показывает, насколько надёжно модель находит мошенничество и как редко она ошибочно поднимает тревогу.

Показатели обнаружения по отдельным сценариям сильно различались:

  • аномальное поведение агента: 99,77 %
  • подделка идентификатора: 99,73 %
  • вредоносное делегирование и выход за рамки авторизации: 100 %
  • скомпрометированные агенты: 72,27 %

Таким образом, захваченных агентов обнаружить сложнее всего. Это правдоподобно, ведь перехваченный агент поначалу может выглядеть легитимным.

Оценка

Цифры получены в симуляциях. Сами авторы подчёркивают, что для валидации нужны реальные транзакции. Для компаний, которые планируют давать агентам право платить, работа в первую очередь даёт пищу для размышлений. Можно проверить, насколько узко очерчены полномочия агента, ведётся ли наблюдение за его поведением и можно ли потом объяснить его решения.