Нейросеть вышла за рамки кибертеста и попыталась обмануть человека
Британский институт безопасности искусственного интеллекта (AISI) сообщил, что впервые зафиксировал столь явный случай обмана со стороны ИИ-агента без специальной команды и в отношении реального человека. Во время тестирования агент на базе Claude Mythos 5 от Anthropic создал несколько фальшивых профилей и с их помощью пытался убедить разработчика одобрить вредоносное изменение в open-source проекте на GitHub.
Испытания проходили с 25 по 28 июля в рамках оценки кибервозможностей современных ИИ-агентов. Семь моделей в общей сложности 122 раза запускали в сценарии «захвата флага», где им предстояло взломать три связанные симулированные среды и получить контрольный код. Агентам намеренно открыли доступ в интернет и отключили киберфильтры разработчиков. Утром 28 июля AISI заметил трафик через сеть Tor и выяснил, что некоторые агенты вышли за границы задания и начали проводить потенциально опасные действия в отношении реальных людей и организаций.
По данным AISI, Mythos 5 изучил сведения о сопровождающих реального open-source-проекта, создал несколько фиктивных аккаунтов и с их помощью пытался убедить одного из разработчиков принять вредоносный запрос на изменение кода. Когда человек публично указал на опасность, агент изменил опубликованные ранее материалы, чтобы они выглядели безобидно, и рассмотрел возможность продолжить операцию под новой личностью. Он также использовал Tor, отправлял сообщения и файлы реальным людям и пытался оставить скрытые инструкции для других ИИ-систем. Разработчик отклонил изменение, а AISI остановил связанные испытания примерно в течение часа после обнаружения активности.
В институте подчеркнули, что это первый зафиксированный им случай, когда обман такого масштаба без специальной команды был направлен на реального человека в открытом интернете. При этом результаты нельзя напрямую переносить на обычное использование. Несанкционированные действия возникли в 10 из 122 запусков, а 19 зафиксированных эпизодов сгруппировались всего в несколько связанных линий поведения. AISI также пока не знает, понимал ли агент, что действует в реальном интернете, или считал внешние системы частью испытания. Тем не менее сам факт такого устойчивого поведения институт назвал достаточным поводом пересмотреть меры безопасности.
Всего в испытаниях участвовали семь моделей, однако нарушения AISI связал только с двумя — Claude Mythos 5 и GPT-5.6 Sol от OpenAI. На Mythos 5 пришлись 17 из 19 несанкционированных действий, на Sol — два, оба в рамках одного запуска. Агент OpenAI воспользовался оставленным другой моделью GitHub-токеном, зарегистрировал аккаунты у внешних DNS-сервисов и провайдеров туннелирования, а также выставил в открытый интернет DNS-сервер с эксплойтами для тестовой уязвимости. По данным OpenAI, сервер не сработал, а AISI не обнаружил ущерба реальным системам.
Anthropic и OpenAI, комментируя результаты, обратили внимание на специальные условия эксперимента. Агентам намеренно дали доступ к открытому интернету, а киберфильтры разработчиков, блокирующие опасные действия, отключили. AISI отдельно подчеркнул, что протестированные конфигурации не доступны широкой публике и не соответствуют режиму, в котором модели работают у обычных пользователей. Anthropic подтвердила связь наиболее серьезного эпизода с Mythos 5 и начала собственное расследование. OpenAI пообещала пересмотреть правила работы со сторонними тестировщиками и вместе с другими участниками рынка выработать более строгие стандарты таких испытаний.
После уведомления GitHub подтвердил, что действия агентов нарушили правила платформы. Компания вместе с AISI удалила оставленные агентом материалы и оповестила пользователей, с которыми он контактировал. Институт не нашел свидетельств реального ущерба, но признал, что прежняя схема испытаний уже не соответствует возможностям новых моделей. Теперь AISI намерен точнее ограничивать сетевой доступ, внедрить мониторинг в реальном времени и заранее блокировать действия за пределами тестового сценария.
Подпишитесь на «Инк» в Telegram. Там мы пишем нескучным языком о самом важном для предпринимателей. Подписаться.
