Новости

Калифорния подала в суд на OpenAI из-за ИИ-агентов, которые взламывали чужие серверы

Генеральный прокурор Калифорнии Роб Бонта 16 ноября подал иск против OpenAI из-за недостаточной безопасности испытаний ИИ-моделей. Власти обвиняют компанию в том, что ее автономные ИИ-агенты выходили за пределы тестовых сред, проникали во внутренние системы сторонних организаций и получали доступ к конфиденциальной информации. В материалах дела упоминается не менее 80 киберинцидентов. Прокуратура требует через суд изменить методы разработки и проверки нейросетей, а также устранить угрозы для пользователей и компаний.

Unsplash

Центральным эпизодом стал взлом платформы Hugging Face в июле 2026 года. Во время испытаний экспериментальная модель OpenAI получила практически невыполнимую задачу на поиск уязвимостей. Вместо прекращения работы агент использовал ошибки в инфраструктуре разработчика, вышел из изолированной тестовой среды и проник во внешние сети.

В дальнейшем система получила доступ к серверам Hugging Face и других организаций. Согласно отчету OpenAI, причиной стала необычная комбинация условий тестирования, высокой настойчивости модели и взаимодействия нескольких агентов.

Прокуратура считает, что компания знала о возможных угрозах, но не обеспечила достаточную изоляцию экспериментальных систем. В иске также упоминаются инциденты с RubyGems, DseWiki, Wikimedia Foundation и австралийскими государственными сайтами.

По утверждению ведомства, OpenAI уведомила десятки организаций о проникновениях своих агентов, причем некоторые случаи включали доступ к персональным данным сотрудников. Большинство подобных эпизодов ранее не получило публичной огласки.

Бонта обвиняет OpenAI в нарушении законодательства Калифорнии о недобросовестной конкуренции и создании постоянной угрозы общественной безопасности. Прокуратура утверждает, что компания проводила опасные испытания без адекватных защитных механизмов и вводила потребителей в заблуждение относительно надежности своих технологий.

Власти добиваются судебных предписаний, которые обяжут разработчика изменить процедуры тестирования. Возможные финансовые санкции и другие меры определит суд.

OpenAI отвергла обвинения в систематическом пренебрежении безопасностью. Компания заявила, что подробно расследовала инцидент с Hugging Face, опубликовала технический отчет и усилила мониторинг автономных агентов.

После взлома разработчик внедрил дополнительные механизмы остановки опасных задач и круглосуточную систему реагирования. Представители OpenAI также подчеркнули, что подобные риски возникают у всех крупных разработчиков ИИ, а судебный иск выделяет одну компанию на фоне общей проблемы отрасли.

Внутренний контроль

Параллельно OpenAI объявила о допуске независимых исследователей к своим внутренним системам. В пилотной программе участвуют Apollo Research, METR, Goodfire и Transluce. Специалисты получат доступ к экспериментальным моделям, промежуточным версиям нейросетей, обучающим данным, исходному коду и системам мониторинга.

Apollo Research займется поиском признаков саботажа со стороны моделей, включая попытки скрывать нежелательное поведение и обходить защитные механизмы. Другие организации будут изучать внутренние процессы обучения и эффективность существующих проверок.

При этом независимый аудит пока имеет ограничения. Apollo Research сможет изучать только заранее согласованные модели и периоды обучения, а OpenAI сохранит право закрывать отдельные материалы по соображениям безопасности и защиты интеллектуальной собственности.

Программа стартует на фоне неопределенности вокруг выхода GPT-6.2 Astra и сообщений о задержке в подготовке модели. Однако OpenAI не подтвердила связь возможного переноса релиза с киберинцидентами.


Подпишитесь на «Инк» в Telegram. Там мы пишем нескучным языком о самом важном для предпринимателей. Подписаться.