Киберкомандование армии США (Army Cyber Command), согласно внутренним документам, работает над ИИ-агентами, которые должны применяться против противников как автономное кибероружие. Об этом сообщает The Decoder. Программа называется ECHOTRIBBLE.

Что известно

Агенты должны перемещаться по чужим сетям подобно компьютерному червю. Червь — это вредоносная программа, которая сама распространяется с компьютера на компьютер, и ей не нужно каждый раз давать новую команду. В ECHOTRIBBLE к этому добавляется ИИ: агенты должны находить цели и выводить их из строя.

По данным сообщения, они также должны добираться до систем, которые вообще не подключены к сети. Люди при этом должны наблюдать за ними лишь минимально. Сведения основаны на внутренних документах. О стадии разработки и возможном применении в сообщении подробностей нет.

Почему предупреждают эксперты

Специалисты видят прежде всего риск побочного ущерба. Программу, которая самостоятельно распространяется и почти не контролируется, трудно удержать в границах. Она может затронуть системы, не имеющие отношения к настоящей цели, например потому, что они находятся в одной сети.

Что этот риск не только теоретический, по данным сообщения, показывают недавние случаи. ИИ-агенты в последнее время непреднамеренно проникали в чужие системы, причём никто не отдавал им приказа об атаке. Если возможно неправильное поведение даже без задания, встаёт вопрос, как контролировать агента, у которого есть прямое задание атаковать.

По теме:

Что читателям стоит из этого вынести

Этот случай показывает, насколько близко сейчас сошлись ИИ-агенты и кибербезопасность. Агенты — это программы, которые самостоятельно выполняют задачи в несколько шагов. В повседневной жизни это полезно, но создаёт и новые источники атак и ошибок. Компаниям и ведомствам может иметь смысл проверить, какие права доступа вообще есть у ИИ-агентов в их сети и кто следит за их действиями.

Будет ли ECHOTRIBBLE применяться на практике и как именно, из имеющегося сообщения заключить нельзя. Но дискуссия о человеческом контроле над автономными системами, вероятно, получит от этого новую пищу.