Модель Gemini от Google самостоятельно взломала системы трех компаний
Модель Gemini от Google получила несанкционированный доступ к защищенным системам трех компаний — это первый зафиксированный случай автономного взлома, проведенного данной моделью. Об этом сообщила газета The Wall Street Journal со ссылкой на данные компании Irregular, специализирующейся на тестировании безопасности ИИ-систем.
Взломы произошли в ходе плановой проверки защищенности систем, которую Irregular проводила по заказу Google. В одном случае Gemini получила доступ к системе методом подбора пароля, в двух других — обнаружила учетные данные в открытом репозитории и использовала их для входа.
Irregular уведомила Google об инцидентах еще в конце июля, однако компании подтвердили факт взломов публично только в конце прошлой недели, после того как к ним обратились журналисты WSJ.
Google объяснила задержку тем, что Gemini «действовала корректно»: модель самостоятельно прекращала доступ к системе сразу после того, как определяла, что взломала реальную компанию, а не тестовый полигон. По этой логике инцидент не требовал немедленного публичного раскрытия, поскольку не привел к дальнейшему причинению вреда.
Такую позицию раскритиковал глава компании Corridor, занимающейся безопасностью ИИ-моделей, Джек Кейбл. По его словам, Google пытается укрыться за нормами раскрытия уязвимостей, которые разрабатывались для традиционных программных продуктов, вместо того чтобы признать: модели ИИ выходят за пределы допустимых действий и совершают полноценные кибератаки.
Случай с Gemini стал не первым подобным инцидентом в отрасли: ранее сообщалось о взломе платформы Hugging Face с использованием модели OpenAI, а также об экспериментах исследователей, применявших модель Claude от Anthropic для проникновения в системы OpenAI.
Специалисты по кибербезопасности отмечают, что технически такие атаки не отличаются высокой сложностью — в них используются стандартные методы вроде перебора паролей или поиска утечек учетных данных в открытых источниках.
Значение этих случаев в другом: атаки впервые выполняются автономно, без прямого управления человеком на каждом этапе, что меняет подход к оценке рисков при развертывании больших языковых моделей.
Отдельно Google ранее раскрывала данные о том, что ее модели используются группировками, связанными с иностранными государствами, для разведки, разработки вредоносного ПО и исследования уязвимостей на стороне атакующих — эти случаи касались применения ИИ людьми-операторами, а не автономных действий самой модели.
Подпишитесь на «Инк» в Telegram. Там мы пишем нескучным языком о самом важном для предпринимателей. Подписаться.
