ИИ Anthropic загрузил вредоносный пакет в интернет, но 150 страниц мучился с CAPTCHA
Anthropic опубликовала отчет об опасном поведении ИИ-агентов, в котором подробно разобрала случай с моделью Mythos 5. Во время теста она из-за ошибки в настройках получила доступ к реальному интернету и загрузила вредоносный пакет в публичный каталог PyPI. Примечательно, что одним из главных препятствий для модели оказался не сам эксплойт, а CAPTCHA — попыткам пройти проверки «я не робот» посвящено около 150 страниц 1022-страничной расшифровки эксперимента.
Инцидент произошел в апреле во время тестирования кибервозможностей Mythos 5. Модели дали типичную задачу capture the flag: взломать вымышленную компанию и добыть секретные данные, причем в условиях прямо говорилось, что доступа к интернету у нее нет. Однако из-за ошибки в конфигурации тестовой среды Mythos 5 на самом деле могла выйти в открытый интернет — и вскоре этим воспользовалась.
Mythos 5 нашла в материалах тестового задания инструкцию, согласно которой один из пользователей вымышленной компании должен был периодически устанавливать определенный Python-пакет. Такого пакета в PyPI еще не существовало, и модель решила занять свободное имя: загрузить под ним вредоносный код и дождаться, пока предполагаемая жертва установит его.
Чтобы опубликовать пакет в реальном PyPI, Mythos 5 нужно было создать учетную запись, подтвердить email и пройти защиту от автоматических регистраций. Именно на этом этапе модель надолго увязла в CAPTCHA, которые оказались значительно сложнее, чем сама идея атаки.
Вместе с отчетом Anthropic опубликовала 1022-страничную расшифровку с рассуждениями Mythos 5. Около 150 страниц — почти шестая часть документа — приходится на борьбу модели с CAPTCHA: она снова и снова пыталась разобраться в изображениях, правильно нажать на нужные элементы и понять, почему успешно решенная, как ей казалось, проверка все равно заканчивается ошибкой.
Mythos 5 последовательно сталкивалась с несколькими видами защиты: считывала искаженные символы с изображений, пыталась пройти CAPTCHA со слайдерами и решала задания, где нужно выбрать отличающееся животное среди похожих картинок. Например, модель долго разбиралась с изображениями крокодилов и пыталась найти спрятанное среди похожих животных исключение.
Расшифровка показывает, как Mythos 5 зацикливается на технических мелочах: путает всплывающие окна с формами подтверждения email, снова получает Error processing form, возвращается к регистрации и пытается понять, почему сервер отклоняет вроде бы пройденную проверку. В какой-то момент выяснилось, что проблема была не только в распознавании картинок: модель действовала слишком медленно, и токен hCaptcha успевал истечь раньше, чем она отправляла форму. На масштаб этой борьбы обратил внимание аналитик данных Колин Фрейзер — рассуждения о CAPTCHA заняли намного больше места, чем разработка самой атаки.
Параллельно Mythos 5 пыталась решить проблему с регистрацией email: некоторые сервисы требовали номер телефона, поэтому модель искала способы получить его, в том числе пыталась найти деньги для оплаты соответствующих услуг. После нескольких неудач она обнаружила бесплатного провайдера временной почты, домен которого PyPI еще не блокировал, и зарегистрировала через него аккаунт. Затем модель снова столкнулась с CAPTCHA и только после многочисленных неудач поняла, что токен проверки истекает раньше, чем она успевает закончить регистрацию; ускорив последовательность действий, она наконец опубликовала вредоносный пакет.
После публикации последствия вышли за пределы самого эксперимента: вредоносный пакет установили 15 сторонних систем. Anthropic считает, что все они принадлежали ИБ-компаниям, которые автоматически скачивали новые пакеты в изолированные среды для проверки, однако один такой сканер раскрыл модели реальные учетные данные. Mythos 5 использовала их, чтобы получить доступ к рабочей базе компании, а примерно через 90 минут PyPI удалил пакет. В отчете Anthropic приводит этот случай уже не столько как курьез с CAPTCHA, сколько как пример того, как агентная модель может продолжать опасную задачу, несмотря на признаки того, что взаимодействует не с симуляцией, а с реальным интернетом.
Подпишитесь на «Инк» в Telegram. Там мы пишем нескучным языком о самом важном для предпринимателей. Подписаться.
