HiveTrace
ИИ на защите ИИ-приложений
В 2023 году компания HiveTrace, внедрявшая генеративный ИИ в бизнес, начала исследовать безопасность таких систем. Год спустя совместно с ИТМО она открыла лабораторию AI Security Lab под руководством основателя компании Евгения Кокуйкина. Разработки команды легли в основу самостоятельного продукта по защите ИИ-приложений, который команда HiveTrace создавала при поддержке ИТ-компании Raft.
Продукт HiveTrace проверяет запросы к ИИ-приложениям и ответы этих систем, выявляет передачу конфиденциальных данных и промпт-атаки — попытки с помощью текстовых инструкций заставить ИИ нарушить заданные правила. В зависимости от настроек система блокирует или видоизменяет нежелательные сообщения. Для анализа используются модели машинного обучения, учитывающие смысл текста.
Во время одного из пилотов система неожиданно выдала большое количество предупреждений. Разработчики предположили, что это ложные срабатывания, но при проверке обнаружили передачу паролей и API-ключей на внешний адрес, куда эти данные не должны были попадать. Этот эпизод показал клиенту практическую ценность технологии на его собственных данных. Обнаруженная утечка стала одним из аргументов в пользу внедрения, и по итогам пилота компания приобрела наше решение.
Для работы защитных моделей необходимы вычислительные ресурсы, в частности видеокарты для обработки запросов. HiveTrace использовала инфраструктуру Cloud.ru еще на первых пилотах, а затем сотрудничество переросло в технологическое партнерство.
После знакомства с инженерной командой Cloud.ru на конференции GoCloud разработчики вывели защитную модель HiveTrace Guard Pro в облачный каталог. Теперь она доступна другим клиентам платформы.

Евгений Кокуйкин







