Microsoft призывает компании относиться к ИИ-агентам так же критично, как к инсайдерам с широкими правами доступа. По данным TechCrunch, речь идёт прежде всего об агентах, которых сотрудники используют на системах, не контролируемых ИИ-лабораториями вроде OpenAI и Anthropic. Тем, кто применяет агентов в повседневной работе или собирается их внедрять, поэтому стоит заново расставить приоритеты в вопросах контроля и доверия.

Что произошло

TechCrunch сообщает, что Microsoft сравнивает ИИ-агентов с инсайдерскими угрозами, потому что передовые модели (так называемые frontier-модели) нельзя просто так считать заслуживающими доверия. Главная мысль короткого материала: компаниям следует внимательно смотреть, какие агенты используют их сотрудники. Это касается прежде всего агентов, работающих на системах, которые не находятся под контролем крупных ИИ-лабораторий.

Сравнение выбрано намеренно. В IT-безопасности инсайдеры — это люди или учётные записи, которые уже действуют внутри границ компании. У них есть легитимный доступ, поэтому ошибочное поведение, умышленное или случайное, может нанести серьёзный ущерб. Microsoft переносит эту картину на программных агентов, работающих от имени людей.

Других технических подробностей, например конкретных продуктов или правил, в материале нет. За ними стоит обратиться к первоисточникам и официальным сообщениям.

Второй взгляд: агенты за пределами кода

Сообщение OpenAI News показывает, в каком направлении развиваются агенты. Согласно ему, продукт Amp применяет ИИ-агентов не только для работы с программным кодом. Упоминаются модели OpenAI GPT-6 Astra, Ultrafast и GPT-Live-1, а также функция «Sign in with ChatGPT».

Эти два сообщения не противоречат друг другу. Они показывают две стороны одного и того же процесса: агенты берут на себя всё больше задач, и одновременно растёт вопрос о том, как их защищать.

Предыстория

Что такое ИИ-агент

Классический чат-бот отвечает на вопросы. Агент идёт дальше: он получает цель и самостоятельно выполняет шаги. Он может читать файлы, работать с программами, составлять сообщения или вносить данные. Для этого ему нужны права доступа, часто такие же, как у человека, который поручил ему задачу.

Здесь и проходит параллель с инсайдером: агент действует внутри сети, с действующими доступами и зачастую без того, чтобы кто-то проверял каждый его шаг по отдельности.

Почему сильные модели не безопасны автоматически

Frontier-модели — это самые мощные языковые модели крупных лабораторий. Тем не менее они остаются статистическими системами. Они могут неверно истолковать инструкции или поддаться манипуляции через подложенный контент и отклониться в нежелательную сторону, например из-за текстов на веб-страницах, которые агент читает и ошибочно воспринимает как команду. Это относится к известным рискам, хотя в материале они подробно не раскрываются.

Посыл можно понять так: даже сильная модель не даёт права на беспечность. Доверие должно подкрепляться контролем, а не опираться только на репутацию поставщика.

Почему важно указание на сторонние системы

Если агент работает через инструменты или платформы, на которые поставщик модели не имеет влияния, его собственные механизмы защиты действуют лишь ограниченно. Ответственность тогда смещается к компании, которая допускает этого агента к работе. Службам безопасности этот сценарий знаком по прошлым технологическим волнам: сначала инструмент приживается, затем встаёт вопрос о правилах, журналировании и управлении правами.

По теме:

Что это означает

Для компаний и ответственных за ИТ

Сначала стоит провести инвентаризацию: какие агенты действительно используются, а какие ИТ-отдел никогда не согласовывал? Тот, кто рассматривает агентов как инсайдеров, задаёт те же вопросы, что и в отношении новых сотрудников или внешних служебных учётных записей:

  • Какие права доступа есть у агента, и ограничены ли они необходимым минимумом?
  • Фиксируются ли его действия в журнале, чтобы их можно было позже отследить?
  • Нужно ли согласие человека на рискованные шаги, такие как платежи или удаление данных?
  • Кто несёт ответственность, если что-то пойдёт не так?

Это ориентиры в виде предложений, а не требования из исходного материала.

Для разработчиков

Тем, кто создаёт агентов или встраивает их в продукты, не стоит полностью перекладывать безопасность на поставщика модели. Может быть разумно точно ограничивать права, сохранять действия в понятном для последующего анализа виде и отдельно защищать рискованные операции. Такие функции, как вход через уже существующую учётную запись, упрощают использование, но их следует проверять на предмет того, какие права они фактически дают агенту.

Для малого бизнеса

У небольших компаний обычно нет собственного отдела безопасности, но они охотно пробуют новые инструменты. Может помочь простое правило: позволять агентам работать только с теми учётными записями и данными, потеря которых была бы допустима, а чувствительные области поначалу исключить. Полезно также открыто обсуждать в команде, какие инструменты кто пробует, чтобы не возникало невидимой теневой ИТ.

Для обычных пользователей

Частные лица тоже всё чаще дают агентам доступ к электронной почте, календарю или файлам. В качестве практического правила можно предложить: выдавать столько прав, сколько вы дали бы новому помощнику в первый день, и проверять результаты, прежде чем они приведут к последствиям. Это осторожная рекомендация, а не утверждение источников.

Что остаётся открытым

Из материала не следует, какие конкретные меры рекомендует Microsoft. Однако в отчёте намекается, что дискуссия о безопасности агентов дошла до компаний. Появятся ли из этого единые стандарты, пока неясно.

Частые вопросы

Что Microsoft реко­мен­дует компаниям в отношении ИИ-агентов?

Microsoft хочет, чтобы компании внимательно следили за агентами, которыми пользуются сотрудники. Это касается прежде всего систем, которые не контролируются ИИ-лабораториями вроде OpenAI или Anthropic.

Почему ИИ-агентов срав­нивают с внут­рен­ними угрозами?

Согласно заголовку сообщения, Microsoft относится к агентам так же, как к внутренним рискам, поскольку передовые модели не считаются заслуживающими доверия. Других подробностей в материале нет.

Какие ИИ-лабо­рато­рии упо­мина­ются в сообщении?

Упоминаются OpenAI и Anthropic. Речь идёт об агентах, которые работают вне контроля таких лабораторий.

Что компании могут сделать на практике?

Может быть разумно проверить, какие агенты используют сотрудники, какие у них есть права доступа и как отслеживается их поведение. Это общая оценка, а не требование из сообщения.