По данным The Decoder, глава OpenAI Сэм Альтман считает невозможным навсегда запереть продвинутый ИИ в защитных средах. Песочницы и мониторинг, по его мнению, работают лишь временно. В долгосрочной перспективе остаётся прежде всего alignment, то есть согласование целей ИИ с человеческими, а эта проблема пока не решена.
Что имеет в виду Альтман
Песочница — это изолированная среда. Программа работает в ней, не имея доступа к остальной системе. Мониторинг дополняет изоляцию: он наблюдает за тем, что делает модель, и должен вмешаться при подозрительном поведении. Оба метода — распространённые меры защиты. Но, по оценке Альтмана, они действуют лишь ограниченное время.
Alignment — это задача выстроить ИИ-системы так, чтобы они действовали в соответствии с намерениями и ценностями людей. И так должно быть даже тогда, когда за ними никто не следит. Как добиться этого надёжно, по словам Альтмана, пока неясно.
Предупреждение о новых инцидентах
Альтман также предупреждает, что могут произойти новые инциденты. В качестве примера он называет аппаратное обеспечение: ИИ-модели уже сегодня находят в железе уязвимости, которых не обнаружил бы ни один хакер-человек.
Уязвимости в оборудовании особенно опасны на практике. Их часто сложнее устранить, чем ошибки в программах, потому что они сидят глубоко в компонентах и в их взаимодействии. Это общая оценка, а не утверждение из сообщения.
Что читателям стоит вынести из этого
Это оценка главы компании, а не результат измерений. Однако она показывает, как смещается дискуссия. Одного лишь технического барьера уже не считают достаточным ответом на риски мощных моделей.
Для команд, которые используют ИИ-агентов или автоматизированные инструменты, это может иметь практические последствия. Стоит ограничивать права доступа до необходимого минимума, использовать несколько уровней защиты вместо одного и регулярно проверять рабочие процессы. Гарантии не даёт и это. Именно поэтому Альтман подчёркивает, что исследования alignment должны быть в центре внимания.
