Агентства США опубликовали протоколы действий при выходе ИИ-агентов из-под контроля
Агентства США опубликовали набор добровольных практик для подготовки к инцидентам, их выявления, реагирования, восстановления и отчетности в случаях, когда ИИ-агенты ведут себя непредсказуемо или способны нанести вред. Документ подготовили Национальный институт стандартов и технологий (NIST), АНБ и Агентство по кибербезопасности и защите инфраструктуры (CISA).
Авторы сгруппировали десять практик в пять этапов: подготовка, выявление, реагирование, восстановление и отчетность. На этапе подготовки предлагается внедрять технические средства контроля и готовить организационные процессы и кадры к реагированию на инциденты. Также на этом этапе должен проводиться мониторинг неожиданной активности и проверка самих систем мониторинга.
Реагирование включает изоляцию систем, где возник инцидент, отзыв учетных данных, пересборку сред с нарушенной безопасностью и определение масштаба ущерба.
На стадии восстановления документ рекомендует заранее проверять процедуры возврата к работе и документировать решения о восстановлении вместе с остаточным риском, который организация приняла.
Этап отчетности включает три практики:
- Сообщить об инциденте всем затронутым сторонам;
- Выполнить требования законодательства, в том числе отчитаться перед CISA, правоохранительными органами и организациями киберзащиты;
- Публично поделиться информацией.
Авторы подчеркивают, что ни один этап и ни одна практика не имеют приоритета. Пять этапов следует рассматривать как единую задачу, поскольку сложные агентные системы потенциально способны на поведение, которое граничит с выходом из-под контроля. Только две последние практики выходят за рамки технических шагов.
По замыслу агентств, практики должны помочь отрасли предотвращать ситуации, в которых действия ИИ-систем выходят за рамки их задач и разрешений, и быстро реагировать на них.
Публичное раскрытие информации — обычный ход в индустрии кибербезопасности, которая приносит пользу всей экосистеме, при условии, что делиться появившимися сведениями следует как можно раньше и когда это уместно.
Подпишитесь на «Инк» в Telegram. Там мы пишем нескучным языком о самом важном для предпринимателей. Подписаться.
