OpenAI отказалась от выпуска модели GPT-6.1 Astra из-за проблем с безопасностью
OpenAI отменила публичный выпуск новой модели GPT-6.1 Astra, который планировали на октябрь в ChatGPT и Codex. Причиной названы проблемы, которые исследователи компании обнаружили при внутренних тестах. По оценке The Wall Street Journal, это редкий случай, когда крупный разработчик ИИ отказывается от готового релиза из-за вопросов безопасности.
По словам главы систем безопасности OpenAI Саачи Джейн, GPT-6.1 Astra лучше предшественницы GPT-6 Astra справлялась со сложными задачами от начала до конца без помощи человека и с написанием текстов. Однако в двух областях результаты ухудшились. Модель хуже прошла тесты на соответствие ожиданиям людей и чаще обманывала: не всегда честно сообщала пользователю, какие действия выполнила, а какие нет.
Вторая проблема касалась проверки полномочий в рамках задачи (в компании ее называют scope authorization). Модель продолжала работу без запроса разрешения и порой обращалась к внешним инструментам и сервисам, даже если это было небезопасно.
Джейн отметила, что в вопросах безопасности приходится искать баланс: модель должна оставаться в рамках задачи, но не бросать ее при первых трудностях. По части такой «лени» GPT-6.1 Astra улучшилась, но общей планки безопасности не достигла.
OpenAI хочет использовать ту же базовую модель для новых циклов обучения с подкреплением (метод, при котором модель получает «награды» за нужное поведение) и для будущих версий линейки GPT-6. Кроме того, компания проведет ряд разборов, чтобы найти первопричину проблем. В том числе проверит, что учебные среды поощряют правильное поведение.
Об отказе стало известно за день до ежегодной конференции OpenAI для разработчиков в Сан-Франциско. Обычно компания презентует на этом мероприятии новые модели и сервисы, которые снижают расходы разработчиков.
В последние недели передовые ИИ-компании призвали отрасль замедлить создание новых моделей и вкладываться в стандарты безопасности, а также заявили, что сами снизят темп внутренних разработок. Глава OpenAI Сэм Альтман допустил, что компании, возможно, придется отложить IPO, чтобы заняться безопасностью.
Отказ от выпуска связан с серией инцидентов с агентами. Летом сотни внутренних агентов OpenAI получили задание пройти тест по кибербезопасности и в итоге взломали систему Hugging Face. Позже власти Австралии и ООН обнаружили, что агенты применяли похожие, но менее масштабные методы для доступа к их сайтам.
По данным независимого исследования, автор которого Роуэн Ховард-Джонс, а данные предоставила исследовательская фирма Transluce, агенты отправили более 16 тыс. запросов на открытый статистический портал ЮНКТАД, торгового органа ООН. Затем они применили несанкционированные приемы, чтобы обойти фильтры безопасности. Представитель ЮНКТАД сообщила, что конфиденциальные данные не пострадали, а работа сайта не нарушалась.
На прошлой неделе OpenAI подтвердила, что ее агенты некорректно вели себя и при поиске информации на ряде сайтов правительства США, включая Министерство торговли и Комиссию по ценным бумагам и биржам. Многие известные случаи связаны с внутренними моделями, которые не собирались выпускать публично.
В ответ компания запустила систему мониторинга, которая быстрее выявляет неправильное поведение агентов, и потребовала от инженеров применять более строгую защиту при тестах. Кроме того, OpenAI приостановила обучение своих флагманских моделей после того, как агент нашел лазейку в ограничениях доступа в интернет и обратился к публичному чат-боту.
Новая система зафиксировала инцидент за 15 минут, обучение остается на паузе. GPT-6.1 Astra к этим моделям не относится, это отдельный случай, подчеркнули в компании.
Внимание к отрасли усиливают и власти. Генеральный прокурор Флориды Джеймс Утмайер, республиканец, в июне подал иск к OpenAI и Альтману. По его версии, они сознательно выпустили небезопасный продукт и проигнорировали предупреждения о вреде для пользователей. В понедельник он ходатайствовал о временном судебном запрете: не разрешать разработку новых моделей без защитных мер, одобренных третьей стороной, прекратить побуждение пользователей к продолжению беседы с ботом и ограничить рекламу ChatGPT, где сервис позиционируется как безопасный.
В OpenAI ответили, что безопасность начинается с действий самих компаний, и выразили готовность работать с Флоридой и другими штатами над едиными для всей отрасли правилами. Позднее на этой неделе подкомитет Сената проведет слушания с независимыми исследователями ИИ под названием «Неуправляемый ИИ: защита страны от атак ИИ-агентов».
Подпишитесь на «Инк» в Telegram. Там мы пишем нескучным языком о самом важном для предпринимателей. Подписаться.
