Как увидеть угрозы безопасности при работе с ИИ? Ловите чек-лист

Новые угрозы: чем опасны ИИ-модели для бизнеса

Например, существует угроза нарушений конфиденциальности: данные,  отправленные во внешнюю большую языковую модель (LLM), могут быть раскрыты или скомпрометированы. Компании не без оснований беспокоятся о таких рисках, как потеря данных, кража моделей. Без надежных механизмов контроля доступа пользователи могут с помощью генеративных ИИ (GenAI) получить доступ к конфиденциальной информации.

Если модели используются для взаимодействия с клиентами, данные может получить конкурент. А ведь есть еще и регуляторные риски, которые будут только расти, потому что технологии развиваются быстрее, чем законодательство. Пользовательские запросы могут вызывать непоследовательные или предвзятые ответы, что несет риски нарушения нормативных требований или этических стандартов. Иными словами, плохо защищенная модель может выдавать в ответах, в том числе, запрещенную информацию, распространение которой ведет к ответственности — вплоть до уголовной.

Агентные приложения, обладающие автономностью и доступом к различным системам, сталкиваются с рядом серьезных угроз безопасности, включая несанкционированный доступ и расширенную поверхность атаки из-за интеграции с несколькими внешними системами. То есть, если они имеют доступ к вашим контактам или календарю, контакты и календарь тоже окажутся под угрозой.

Но и это не самое страшное, ведь если злоумышленник получит контроль над автономным агентом, последствия могут быть критическими, особенно в системах жизнеобеспечения, финансах или инфраструктуре. Поэтому необходимо внедрять жесткие механизмы управления доступом и сквозное шифрование для защиты от подобных угроз.

Почему традиционная ИБ не справляется и что приходит ей на смену

Существует множество стандартов и практик, которые помогают снижать риски традиционных программных или информационных систем. Но угрозы, связанные с LLM и GenAI, во многих отношениях уникальны. Например, модели могут быть обучены на данных, которые со временем могут изменяться иногда существенно и неожиданно, что влияет на функциональность и надежность системы способами, которые трудно понять. В целом, системы на базе LLM по своей природе находятся под влиянием общественных процессов и человеческого поведения. Ведь они учатся на данных, которые создают люди, следовательно, их можно научить и противоправной деятельности.

Спасают ли традиционные методы обеспечения информационной безопасности, такие как статический анализ кода, от специфических рисков, например, атаки через внедрение промптов или от этических и социальных искажений и предвзятости сложной языковой модели? Скорее нет, чем да. Защита систем на базе LLM требует пересмотра стратегий безопасности с учетом новых, специфичных для моделей уязвимостей, процессов разработки — тестирования — внедрения данных систем в промышленную эксплуатацию.

Хорошая новость в том, что мы нашли новые решения, направленные на устранение этих пробелов в безопасности.

Прежде всего — это LLM-фаерволы, предназначенные для защиты больших языковых моделей от несанкционированного доступа, вредоносных запросов и потенциально опасных ответов. Такой фаервол отслеживает и фильтрует взаимодействие с LLM, блокируя подозрительные или вредоносные входные данные, которые могут повлиять на поведение модели. Он также реализует заранее определенные правила и политики, гарантируя, что LLM отвечает только на допустимые запросы в рамках установленных этических и функциональных ограничений. Кроме того, LLM-фаервол предотвращает утечку данных и защищает конфиденциальную информацию, контролируя потоки данных, поступающих в модель и исходящих из нее.

Другой категорией средств защиты стали сканеры уязвимостей — специализированные инструменты, разработанные для выявления и оценки уязвимостей, присущих большим языковым моделям. Сканеры LLM способны обнаруживать такие проблемы, как внедрение промптов и атаки с использованием вредоносных входных данных. Система оценивает ответы и поведение модели в различных сценариях, выявляя уязвимости, которые могут быть упущены традиционными средствами безопасности.

Системы AI-SPM (AI Security Posture Management) помогают управлять безопасностью ИИ-приложений на всех этапах — от обучения моделей до их запуска в реальной работе. Они дают полный обзор того, как используется ИИ внутри компании и позволяют вовремя выявлять риски.

С помощью AI-SPM можно управлять политикой безопасности, находить уязвимости в данных, моделях и приложениях, контролировать доступ, предотвращать утечки и ошибки в настройках.

Что делать уже сейчас: чек-лист для оценки ИИ-рисков

Конечно, в один прекрасный день появятся классификации рисков и угроз безопасности, процессы оценки зрелости, стандарты, сертификаты соответствия, тренинги, консультанты с 10-летним опытом работы — все это c приставкой LLM/ИИ. Но что же делать практикам уже сегодня, прямо сейчас?

В первую очередь, составить реестр приложений, использующих LLM. И применить к ним вот такой чек-лист, состоящий из следующих вопросов:

• Находятся ли системы в промышленной эксплуатации?

• Каковы условия эксплуатации и как реализован жизненный цикл ИИ-приложений?

• С какими информационными системами взаимодействует ИИ-приложение?

• Где лежит исходный код моделей?

• Кто является бизнес-владельцем инициативы и ИИ-приложения в частности?

• Какая документация по системе разработана?

• Какой фреймворк используется для обучения модели?

• Может ли система принимать самостоятельные решения?

• Применяются ли средства обнаружения атак на канале взаимодействия клиентов с системой ИИ?

Только получив ответы на эти вопросы, можно адекватно оценить угрозы и определиться со способами противодействия им. Это, в любом случае, будет непросто, но в противном случае риски могут оказаться фатальными.