В России разработали рекомендации по безопасному созданию ИИ-агентов
Yandex B2B Tech составила руководство по минимизации рисков при создании и внедрении ИИ-агентов на базе больших языковых моделей. Оно основано на внутренних разработках компании. В документе содержатся рекомендации для разработчиков, которые помогают держать ИИ под контролем и снижать угрозы безопасности, показывая предпринимателям и ИТ-специалистам, как не допустить «самостоятельного захвата» бизнес-процессов искусственным интеллектом. Подробности — в распоряжении «Инка».
ИИ-агенты — это программы, которые могут действовать без участия человека, позволяя компаниям автоматизировать многоэтапные задачи. По данным аналитической компании Gartner, к 2028 году 15% повседневных рабочих решений будут приниматься автономно с помощью ИИ-агентов (с 0% в 2024 году), а 33% корпоративного ПО будут включать такие технологии (с менее 1% в 2024 году).
Руководство охватывает защиту ключевых компонентов ИИ-агентов, включая генеративные модели, модули и базы знаний, с акцентом на предотвращение уязвимостей из-за автономности этих программ.
Среди рекомендаций ключевыми являются следующие:
- Моделирование угроз и оценка рисков
Прежде чем внедрять ИИ‑сервисы (например, чат‑боты или рекомендации товаров), следует смоделировать, какие ошибки могут возникнуть и как они повлияют на клиентов или процессы. Это снижает риски и повышает доверие к бизнесу.
- Контроль доступа и управление идентификацией агентов
Важно внедрить строгий контроль доступа к управлению ИИ‑системами. Это необходимо для защиты данных клиентов и предотвращения случайных или злонамеренных действий.
- Обеспечение прозрачности и отслеживаемости
Следует вести учет того, что делает ИИ: какие решения принимает и как влияет на пользователей. Ведение журналов событий, мониторинг поведения агентов и возможность аудита их действий поможет затем быстро исправить ошибки и улучшить сервис, например корректируя рекомендации товаров или контент.
- Интеграция с существующими стандартами и нормативами
Наконец, ИИ рекомендовано использовать в рамках действующих стандартов и законодательства. Это поможет защитить компанию от штрафов и репутационных потерь, особенно если ИИ взаимодействует с клиентами или персональными данными.
«ИИ-агенты — это новый этап развития искусственного интеллекта. Если обычные ИИ-модели просто отвечают на запросы, то агенты способны самостоятельно действовать в цифровой среде. <…> Поскольку агенты опираются на данные от пользователей, среди которых могут быть и злоумышленники, существует набор рисков, на которые нужно обращать внимание при их разработке и внедрении», — отметил директор по безопасности платформы Yandex Cloud Евгений Сидоров.
