Китайская нейросеть GLM 4 конкурирует с GPT-4o и DeepSeek-V3, хотя имеет в 20 раз меньше параметров

Исследователи из Университета Цинхуа представили языковую модель GLM 4, которая несмотря на свой относительно скромный размер в 32 млрд параметров демонстрирует производительность на уровне гораздо более крупных моделей, таких как GPT-4o и DeepSeek-V3 (671 млрд параметров). Для обучения нейросети китайские ученые собрали рекордный датасет из 15 трлн токенов. При этом сама модель открытая — любой желающий может воспользоваться ее открытым исходным кодом.

Особенность модели — наличие режима «рассуждения», который позволяет ей эффективно решать сложные задачи. В тестах GLM 4 показала впечатляющие результаты: 87,6 баллов в бенчмарке IFEval, 88,1 баллов в SimpleQA и 69,6 в BFCL-v3. В практических задачах по исправлению кода в тесте SWE-bench модель достигла успеха в 33,8% случаев — выше, чем у многих открытых конкурентов.

Помимо основной версии с 32 млрд параметров семейство моделей включает также улучшенный вариант GLM Z1 Rumination 32B с расширенными возможностями «рассуждения» и модель GLM Z1 9B с 9 млрд параметров, сохраняющую сильные способности к математическим и логическим рассуждениям при меньшем размере.

Ранее команда Qwen, входящая в состав компании Alibaba, представила «рассуждающую» языковую модель QwQ-32B. В экспериментах эта нейросеть показала производительность, сравнимую с DeepSeek-V3 при значительно меньших размерах.