Американский стартап Hugging Face представил новую серию языковых моделей OlympicCoder, способных решать сложные олимпиадные задачи по программированию. Это второй этап проекта компании по разработке полностью открытого аналога нейросети DeepSeek-R1.

Существующие модели генерации кода часто не справляются с олимпиадными задачами из-за трудностей в обработке длинных цепочек рассуждений. Они могут проходить упрощенные тесты, но проваливаются при более строгих условиях соревнований. Доступные сегодня наборы данных охватывают лишь часть задач с таких платформ, как CodeForces, или с соревнований вроде Международной олимпиады по информатике (IOI).

Исследователи Hugging Face выпустили две модели: OlympicCoder-7B с 7,6 млрд параметров и OlympicCoder-32B с 32,8 млрд параметров. Обе построены на базе нейросети Qwen2.5-Coder Instruct и обучены на специально подготовленном наборе данных из 100 тыс. примеров качественных цепочек рассуждений (chain of thoughts).

При обучении OlympicCoder-7B исследователи не сжимали обучающие данные, что позволило сохранить длинные цепочки рассуждений. Вместо этого ученые увеличили скорость обучения. OlympicCoder-32B использует распределенные методы обучения с акцентом на расширение контекстного окна. Последнее позволяет вмещать большие цепочки рассуждений.

Модели оценивались на популярном бенчмарке LiveCodeBench и задачах IOI 2024. Результаты показали, что OlympicCoder-32B превосходит некоторые ведущие закрытые модели, включая Claude 3.7 Sonnet. Пока новый алгоритм уступает лишь алгоритмам o3-mini и o1.