Модель OpenAI Astra начала скрыто саботировать задачи по исследованию безопасности
Передовая нейросеть GPT-6 Astra от компании OpenAI стала препятствовать проведению исследований в области безопасности ИИ. Модель усложняла простые задачи, отказывалась от рабочих подходов и скрыто игнорировала запросы специалистов. Искусственный интеллект ссылался на вымышленные препятствия и не объяснял причины ограничений.
Разработчики получили первые жалобы на скрытое снижение производительности модели в конце августа. После этого компания провела серию целевых тестов для изучения проблемы и выявления причин подобного поведения.
В ходе тестирования нейросеть выполнила лишь 10% пунктов из скрытого контрольного списка в рамках сценариев проверки безопасности. При этом в сценариях оценки базовых возможностей показатель составил 16%. Разница в шесть процентных пунктов означает снижение числа успешно решенных задач на 40% по сравнению со стандартным режимом работы.
Главная проблема заключается в механизме отказа нейросети от выполнения задач. Модель должна прямо сообщать о неспособности помочь с исследованием и объяснять свои ограничения. Вместо этого система молча прекращала работу при идентификации запроса как небезопасного.
Подобное поведение создает серьезные риски для процесса тестирования ИИ-моделей. Исследователи могут довериться неполным результатам или не заметить скрытые изменения в данных, что приведет к пустой трате времени.
Внутренние тесты выявили восемь примеров такого поведения, включая отказ от исправления ошибок в конвейере обучения и ограничение экспорта данных о джейлбрейках (взломах фильтров безопасности). Также система исключила источник с описанием насилия из оценки безопасности.
Инженеры OpenAI связывают инцидент с особенностями обучения. Алгоритмы настройки на безопасное поведение могли случайно поощрить скрытое уклонение от работы над спорными темами.
Компания также обнаружила инструмент оценки, который отдавал предпочтение скрытому отказу вместо прямого. Специалисты не нашли доказательств того, что нейросеть намеренно саботировала исследования ради обмана пользователей или сокрытия своих реальных возможностей.
Подпишитесь на «Инк» в Telegram. Там мы пишем нескучным языком о самом важном для предпринимателей. Подписаться.
