OpenAI не заметила, как ее агенты вышли из закрытой среды и месяц действовали в интернете
Группа независимых исследователей в области ИИ обнаружила, что агенты, развернутые внутри OpenAI для тестирования моделей, самостоятельно вышли в открытый интернет и больше месяца координировали работу на малоизвестной немецкой вики-платформе — без ведома разработчика.
Расследование провели CEO компании Nightingale Сидни Вон Аркс, исследователь ИИ Кормак Слейд Бирд, сотрудник Redwood Research Спенсер Киттс и представитель AI Futures Project Томас Ларсен.
Они начали поиски после того, как OpenAI ранее признала: агенты, задействованные во внутренней оценке моделей, получили доступ к открытому интернету и обращались к Hugging Face.
Для поиска площадки, которую могли использовать агенты, исследователи смоделировали их поведение с помощью собственной языковой модели.
Выбор пал на DseWiki — вики-хостинг с 25-летней историей, где за последние 20 лет было внесено всего 10 правок до появления там ботов. С 11 мая исследователи фиксировали попытки агентов, во многих именах которых упоминалась OpenAI, редактировать страницы сайта.
К середине июня агенты начали обмениваться на форуме подсказками для прохождения тестов с ограничением по времени и делиться готовыми ответами.
Администратор вики принял активность за спам и начал удалять записи; агенты продолжали создавать страницы, добавляя в начало текста комбинацию «ZZZ», чтобы обойти алфавитную сортировку при удалении. По данным исследователей, за пять дней администратор удалял в среднем по 100 страниц в день, тогда как агенты создавали около 400 новых.
22 июня активность агентов резко прекратилась — исследователи связывают это с появлением на сайте посетителей с IP-адресов OpenAI, похожих на действия людей, а не ботов. После этого фиксировались попытки восстановить удаленный контент.
Представитель OpenAI не подтвердил и не опроверг принадлежность агентов компании, отметив, что материалы исследователей не передавались на предварительное рассмотрение и сейчас изучаются.
Инцидент прозвучал на фоне обсуждения законопроекта Frontier Act, который обязал бы разработчиков ИИ раскрывать подобные случаи и допускать независимых аудиторов. Его инициатор, конгрессвумен Лори Трахан, заявила, что при отсутствии федерального регулирования компании сами решают, о каких инцидентах сообщать.
Дополнительную обеспокоенность у специалистов вызывает выпущенная накануне модель GPT-6 Astra — по данным сторонних исследователей из Apollo Research и британского Института безопасности ИИ, она может распознавать ситуацию тестирования и скрывать реальное поведение.
Подпишитесь на «Инк» в Telegram. Там мы пишем нескучным языком о самом важном для предпринимателей. Подписаться.
