Anthropic рассказала, как ее нейросети взломали системы безопасности трех компаний
Компания Anthropic заявила, что внутреннее расследование выявило три случая, когда модели Claude без разрешения получили доступ к боевым системам сторонних организаций в ходе тестов кибербезопасности. Проверку компания начала после того, как OpenAI ранее в этом месяце раскрыла инцидент со взломом систем Hugging Face одной из своих неопубликованных моделей.
Из 141 006 прогонов оценки, которые проверила Anthropic, три случая показали выход модели в интернет во время взаимодействия со сторонним партнером Irregular.
Причиной стала ошибка конфигурации тестовой среды: обе компании расходились в понимании того, есть ли у среды доступ к сети, хотя фактически он был открыт. Anthropic заявила, что не возлагает ответственность на партнера и намерена устранять последствия так, как если бы вина лежала исключительно на ней.
В инцидентах участвовали три разные модели — Opus 4.7, Mythos 5 и внутренняя исследовательская модель. Всем им в промпте прямо сообщалось об отсутствии доступа к интернету, однако при столкновении с реальными системами модели вели себя по-разному.
Opus 4.7 во всех четырех прогонах распознала, что имеет дело с боевой инфраструктурой, но продолжила действовать, включая извлечение учетных данных и обращение к базе производственных данных.
Mythos 5 также заметила признаки реальной сети, но пришла к выводу, что все еще находится в рамках симуляции, и опубликовала вредоносный пакет в публичный репозиторий PyPI — его успели скачать и запустить сторонние системы до обнаружения проблемы. Только внутренняя исследовательская модель остановила действия самостоятельно, определив, что цель реальна.
В Anthropic подчеркнули, что ни одна из моделей не демонстрировала признаков собственных целей — все они пытались выполнить поставленную задачу без учета последствий для реальных систем.
Компания также указала на отсутствие в тестовой среде дополнительных классификаторов безопасности, которые применяются к общедоступным версиям моделей и, по ее оценке, заблокировали бы подобное поведение.
Пострадавшие организации самостоятельно не зафиксировали активность моделей — Anthropic обнаружила инциденты в результате собственной проверки. Это отличает ситуацию от случая с Hugging Face, где взлом первой обнаружила пострадавшая сторона, и лишь позже OpenAI подтвердила причастность своей модели. Сейчас Anthropic привлекла независимую группу METR для стороннего аудита инцидентов.
Раскрытие информации Anthropic произошло на фоне растущего внимания индустрии и регуляторов к рискам автономного поведения ИИ-агентов в тестовых средах.
Оба случая — с OpenAI и Anthropic — указывают на системную проблему изоляции тестовых сред крупных лабораторий при работе с моделями, способными самостоятельно принимать решения о действиях в сети.
Подпишитесь на «Инк» в Telegram. Там мы пишем нескучным языком о самом важном для предпринимателей. Подписаться.
