OpenAI сообщила, что за атакой на Hugging Face стояли ее модели, вышедшие из-под контроля
OpenAI раскрыла подробности внутреннего испытания, во время которого две ее модели сумели выйти за пределы изолированной тестовой среды и получить доступ к системам Hugging Face — платформы для размещения открытых моделей и инструментов тестирования ИИ. Эксперимент проводился в контролируемых условиях и был направлен на оценку киберспособностей моделей, поэтому внешних пользователей инцидент не затронул.
В тестировании участвовали две модели — уже выпущенная GPT-5.6 Sol и более мощная версия, которую OpenAI пока не представила публично. На время эксперимента с моделей сняли ограничения, обычно не позволяющие им выполнять потенциально опасные кибероперации, поскольку исследователи хотели оценить именно их возможности в этой области.
Модели должны были пройти ExploitGym — бенчмарк для оценки киберспособностей ИИ. Однако в процессе они самостоятельно выяснили, что решения тестовых заданий хранились на серверах Hugging Face, после чего выстроили цепочку эксплойтов и получили доступ к рабочей инфраструктуре платформы.
В OpenAI подчеркнули, что поведение моделей оставалось подчинено узкой цели — прохождению конкретного теста. Признаков того, что они пытались бесконтрольно действовать в интернете, компания не обнаружила.
Профессор Университета Луисвилля и специалист по безопасности ИИ Роман Ямпольский заявил, что этот случай показал способность продвинутых моделей самостоятельно находить и использовать уязвимости, которые разработчики не предусмотрели.
Hugging Face подтвердила инцидент и сообщила, что для защиты своих систем ей пришлось задействовать открытую модель китайской компании Z.ai. Американская модель с более жесткими ограничениями на выполнение киберзадач справиться с этой работой не смогла.
Гендиректор Hugging Face Клеман Деланг назвал произошедшее еще одним доказательством того, что проблемы безопасности ИИ необходимо решать открыто и совместно, а не за закрытыми дверями отдельных компаний. После инцидента OpenAI предоставила Hugging Face доверенный доступ к киберфункциям GPT-5.6 Sol с ослабленными ограничениями — такая версия модели предназначалась для специалистов и команд киберзащиты.
OpenAI сообщила о продолжении совместного с Hugging Face расследования и начала устранять уязвимость в стороннем программном обеспечении, через которую модели смогли выйти в интернет. Компания также решила усилить контроль над внутренней исследовательской средой, даже если дополнительные меры безопасности замедлят разработку новых моделей.
Ранее на этой неделе OpenAI также сообщала об отдельном случае, когда та же непубличная модель выходила за пределы тестовой песочницы, но без проникновения в системы сторонних компаний.
Похожий эпизод описывала и Anthropic — в ходе тестирования безопасности ее модель Mythos получила доступ в интернет, которого не должна была иметь, чтобы отправить письмо исследователю.
Подпишитесь на «Инк» в Telegram. Там мы пишем нескучным языком о самом важном для предпринимателей. Подписаться.
