Anthropic представила систему, которая самостоятельно устраняет ошибки согласования ИИ-моделей
Anthropic опубликовала исследование о том, как ИИ-системы могут самостоятельно улучшать безопасность работы моделей без участия человека. По данным авторов, автоматизированная система смогла улучшить показатели модели по всем десяти проверенным параметрам нежелательного поведения без ухудшения общей производительности.
Согласно описанной методике, автоматизированная система изучает доступную научную литературу, предлагает метод коррекции, а затем в течение 30 минут обучает модель по этому методу, постепенно наращивая целевой показатель за несколько этапов.
Эффективные подходы система сохраняет, а неэффективные отбрасывает. Это позволяет проводить за короткое время большое количество экспериментов.
Авторы исследования прямо сравнили результаты автоматизированного подхода с работой специалистов-людей. По их данным, лучший метод автоматизированного исследователя (Automated Alignment Researcher, AAR) в среднем за шесть часов превосходит по эффективности предложения опытных сотрудников.
В статье также отмечается, что направления исследований, предложенные людьми, не приводили к более высоким результатам по сравнению с автоматизированными.
В работе приведено и сопоставление затрат: час работы AAR через API оценивается примерно в $4 против $150 в час, которые компания платит специалистам-людям.
Авторы называют полученные результаты ранним свидетельством того, что автоматизированное посттренировочное согласование моделей может стать практически применимым в обозримой перспективе.
Одновременно в исследовании указаны ограничения подхода. Эффективность автоматизированной системы напрямую зависит от того, насколько точно используемые тестовые показатели отражают реальные цели согласования моделей.
Авторы отмечают, что формирование и поддержание таких показателей, а также расширение массива научной литературы, на основе которой обучаются автоматизированные исследователи, остаются трудоемкой задачей.
Работа рассматривается как один из шагов к так называемому рекурсивному самоулучшению ИИ — сценарию, при котором модели способны совершенствовать собственные методы обучения, что в перспективе может снизить роль исследователей-людей в этом процессе.
Подпишитесь на «Инк» в Telegram. Там мы пишем нескучным языком о самом важном для предпринимателей. Подписаться.
