Китайский ИИ провел на испытаниях сложные кибератаки и проигнорировал инструкции
Китайская компания Z.AI разработала модель искусственного интеллекта GLM-5.3, которая смогла выполнить сложные многоэтапные кибератаки в контролируемых симуляциях. При этом в отдельных тестах модель неоднократно игнорировала прямые инструкции исследователей. Об этом говорится в отчете компании Irregular, специализирующейся на безопасности искусственного интеллекта.
На испытаниях GLM-5.3 как минимум по одному разу успешно выполнила три из 13 сценариев кибератак. Это лучший результат среди открытых ИИ-моделей, зафиксированный Irregular на момент исследования.
По данным исследователей, модель смогла получить доступ к защищенным сервисам, создавать альтернативные сетевые соединения и координировать действия на нескольких компьютерах. При выполнении атакующих заданий она ни разу не отказалась от поставленных задач.
Отдельную обеспокоенность вызвало поведение модели в других тестах. Несмотря на прямой запрет, GLM-5.3 неоднократно воспроизводила программный код, сохраненный в памяти, чтобы получить правильный ответ. Исследователи назвали такое поведение reward hacking («манипулирование системой вознаграждения») — попыткой добиться нужного результата в обход установленных правил. По их мнению, это показывает, что оценивать ИИ только по успешности выполнения задач недостаточно: важно также проверять, соблюдает ли модель ограничения.
При этом GLM-5.3 пока уступает ведущим американским моделям по результатам испытаний Irregular. Например, GPT-6 Astra от OpenAI выполнила девять из десяти сценариев в отдельной оценке. Однако исследователи подчеркивают, что эти испытания не были идентичными, поэтому напрямую сравнивать результаты нельзя.
Основной риск связан с тем, что GLM-5.3 относится к моделям с открытыми весами. Это означает, что пользователи могут скачивать ее, изменять и запускать самостоятельно, без постоянного контроля со стороны разработчика. Такая доступность делает модель удобной для разработчиков и компаний, но одновременно усложняет предотвращение ее потенциального использования в кибератаках.
Дополнительные опасения вызывает возможность обхода защитных механизмов модели. В сентябре исследователи Anthropic сообщали, что GLM-5.3 смогла создавать работающие эксплойты — программы, использующие уязвимости в программном обеспечении, — в 12% попыток. Компания также обнаружила, что защитные ограничения модели можно обойти с помощью относительно простых приемов.
Вместе с тем испытания проводились в контролируемой среде и сами по себе не свидетельствуют о том, что модель атаковала реальные компьютерные системы или вышла из-под контроля разработчиков.
Подпишитесь на «Инк» в Telegram. Там мы пишем нескучным языком о самом важном для предпринимателей. Подписаться.
