Компания Anthropic, разработчик моделей Claude, открывается для внешних проверяющих. Некоммерческая организация METR получает доступ, сопоставимый с доступом сотрудников, чтобы оценивать риски моделей. Для всех, кто следит за тем, насколько серьёзно ИИ-индустрия относится к проверке собственной безопасности, это заметный шаг.

Что произошло

По данным Ars Technica, Anthropic предоставила внешним экспертам «доступ, как у сотрудников». С его помощью они должны оценивать опасности собственных ИИ-моделей компании. Так компания выполняет данное ранее обещание: она собиралась усилить меры защиты, поскольку технология в худшем случае может выйти из-под контроля с катастрофическими последствиями.

Конкретно это значит, что команда METR теперь работает прямо в офисе создателя Claude. У неё есть доступ к оборудованию и внутренним системам. METR — некоммерческая организация, которая уже сотрудничала с несколькими ведущими ИИ-лабораториями, в том числе с OpenAI, Anthropic, Google и Meta.

TechCrunch добавляет важный момент: METR намерена публиковать собственные оценки рисков, инцидентов и практик Anthropic. При этом Anthropic отказалась от права блокировать такую публикацию. Проверяющие не просто находятся внутри компании, они могут публично отчитываться, а компания не вправе наложить вето.

Ars Technica также помещает этот шаг в более широкий контекст. По её данным, усиление роли независимых экспертов относится к важнейшим конкретным мерам, которые лаборатории предложили в ответ на растущую обеспокоенность. Эта обеспокоенность связана с рисками, которые более мощные ИИ-системы могут создавать для экономики, кибербезопасности и человечества в целом.

Главные пункты вкратце

  • Anthropic предоставляет внешним проверяющим доступ, сопоставимый с доступом сотрудников.
  • METR работает с встроенной командой прямо в офисе компании.
  • Команда может получать доступ к оборудованию и внутренним системам.
  • METR намерена публиковать собственные оценки рисков, инцидентов и практик.
  • Anthropic отказалась от права препятствовать этим публикациям.

Предыстория

Чтобы понять значение новости, полезно взглянуть на то, как ИИ-модели тестируют до сих пор. Многие проверки безопасности проходят внутри самих компаний. Разработчики тестируют свои модели, решают, какие тесты важны, и формулируют результаты. У этого есть преимущества: никто не знает системы лучше. Но есть и очевидный недостаток: тот, кто создаёт продукт и хочет его выпустить, не обязательно самый нейтральный судья его опасностей.

Внешние оценщики призваны закрыть этот пробел. Они организационно независимы, то есть напрямую не заинтересованы в том, чтобы модель выглядела хорошо. Однако весомость их выводов сильно зависит от того, что им действительно разрешено видеть. Тот, кто тестирует модель только через публичный интерфейс, получает ограниченную картину. Проявляет ли система нежелательное поведение при определённых условиях, часто можно надёжно оценить лишь при более глубоком доступе, например к вычислительным средам, инструментам и внутренним процессам.

Именно здесь и важна эта новость. Доступ, равный доступу сотрудников, должен позволить проверяющим заглянуть «под капот». TechCrunch описывает это в том же ключе: METR может посмотреть, как всё на самом деле устроено внутри.

Кто такая METR?

METR — некоммерческая организация. Согласно материалу, она уже работала с OpenAI, Anthropic, Google и Meta. Это указывает на то, что в отрасли её знают как проверяющую инстанцию, не привязанную к одной компании. Некоммерческий статус к тому же означает, что организация не зарабатывает на продаже ИИ-продуктов. Это может укреплять её репутацию, но не снимает вопрос о том, насколько независимо сотрудничество на практике в повседневной работе.

Тенденция к усилению проверок третьими сторонами

Дискуссия о безопасности ИИ за последние годы изменилась. Раньше речь часто шла об абстрактных сценариях будущего. Теперь обсуждаются конкретные механизмы, позволяющие рано выявлять риски. К ним относятся тесты на опасные способности, проверки кибербезопасности и отчёты о происшествиях. Лаборатории дали обещания улучшить меры защиты, а более сильные проверки третьими сторонами, по данным Ars Technica, относятся к самым осязаемым предложениям.

То, что такая компания, как Anthropic, теперь пускает внешнюю команду в собственный офис, является практическим воплощением этой идеи. Это показывает, что из заявлений о намерениях могут получаться конкретные рабочие процессы.

По теме:

Что это означает

Последствия зависят от того, кто вы. Поскольку в материале мало сказано о деталях сотрудничества, приведённые ниже оценки следует воспринимать с осторожностью.

Для разработчиков

Те, кто встраивает ИИ-модели в собственные приложения, обычно полагаются на заявления поставщиков о безопасности. Опубликованные отчёты независимой организации могут стать дополнительным источником информации. Возможно, стоит читать такие оценки по мере их появления и сравнивать их с заявлениями производителя. Особенно важны сведения об инцидентах и о том, как компания обращается с рисками. Они могут повлиять на то, насколько осторожно стоит использовать модель в чувствительных областях.

Для малого бизнеса

У небольших компаний, как правило, нет ни времени, ни экспертизы, чтобы самостоятельно тщательно проверять поставщиков ИИ. Независимые оценки здесь могут служить ориентиром, например при выборе поставщика для задач, связанных с клиентами или с безопасностью. Однако такие отчёты не стоит принимать за знак качества. Оценка описывает то, что обнаружили проверяющие, и не гарантирует, что система безопасна в любой ситуации.

Для обычных пользователей

Для людей, которые пользуются ИИ-ассистентами в повседневной жизни, важнее всего идея прозрачности. Если независимая организация может публично сообщать о результатах, а производитель не в силах этому помешать, скрывать проблемы становится труднее. Это не значит, что проблем нет. Но они могут становиться заметными раньше.

Открытые вопросы

По текущему состоянию дел несколько моментов остаются открытыми, и их стоит держать в поле зрения:

  • Насколько далеко простирается доступ в деталях, из материала не следует.
  • Неясно, как часто и в какой форме METR будет публиковать свои результаты.
  • Заключат ли другие лаборатории подобные соглашения, по источникам определить нельзя.
  • Даже у встроенной команды возникает вопрос, насколько независимой она остаётся, если ежедневно работает в офисе проверяемой компании.

Таким образом, этот шаг — начало, а не доказательство всесторонней безопасности. Но он показывает, что внешний контроль переходит из теории в практику. Сможет ли он действительно уменьшить опасения по поводу выходящего из-под контроля ИИ, станет ясно по тому, что опубликуют проверяющие и как на это отреагируют компании.

Частые вопросы

О чём Anthropic дого­вори­лась с METR?

Anthropic предоставляет внешней организации-аудитору METR доступ, сопоставимый с доступом сотрудника, чтобы та могла оценивать риски собственных моделей компании.

Кто такая METR?

METR — некоммерческая организация, которая уже работала с ведущими ИИ-лабораториями, такими как OpenAI, Anthropic, Google и Meta.

К чему у METR есть доступ?

Команда METR работает прямо в офисе разработчика Claude и имеет доступ к его оборудованию и внутренним системам.

Может ли Anthropic остано­вить пуб­лика­цию отчётов METR?

По данным TechCrunch, METR публикует собственные оценки рисков, инцидентов и практик Anthropic. Компания отказалась от права блокировать такие публикации.

Почему это важно?

Внешние аудиторы считаются одним из конкретных шагов, с помощью которых лаборатории отвечают на растущую обеспокоенность опасностями более мощных ИИ-систем, например для экономики и кибербезопасности.