Google разработала мощную систему защиты для нейросетей

Исследователи Google DeepMind представили новую систему CaMeL для защиты больших языковых моделей (LLM) от атак через промпты. Согласно тестам, технология блокирует две трети вредоносных запросов.

Современные языковые модели уязвимы для так называемых «инъекций промптов», при помощи которых злоумышленники могут получать доступ к конфиденциальным данным внутри нейросетей. Существующие методы защиты, включая переобучение моделей и промпт-инжиниринг, показывают низкую эффективность.

CaMeL предлагает принципиально новый подход к решению этой проблемы. Система имеет двухуровневую архитектуру, состоящую из «привилегированной» и «карантинной» языковых моделей. CaMeL использует метаданные и строгие политики для каждого элемента данных, благодаря чему может контролировать проходящие через LLM потоки информации. Специальный Python-интерпретатор отслеживает происхождение данных и помогает соблюдать ограничения.

В тестах на бенчмарке AgentDojo CaMeL продемонстрировала впечатляющие результаты: модель успешно справилась с 67% задач. Немаловажно, что система увеличила число используемых токенов примерно в 3 раза. Для сравнения, другие методики повышают расход токенов в 5-10 раз.

Одно из главных преимуществ CaMeL — способность противостоять даже очень сложным атакам, включая косвенное манипулирование системой через внешне безобидные инструкции. Технология создает дополнительный защитный слой вокруг языковой модели без ее модификации. Это делает систему более универсальной.