DeepSeek научила ИИ не растрачивать внимание впустую
Китайская компания DeepSeek выпустила экспериментальную модель DeepSeek-V3.2-Exp с технологией Sparse Attention, которая снижает вычислительные затраты при работе с длинными текстами. Новая архитектура позволяет сохранить качество ответов на уровне предыдущей версии V3.1, увеличив эффективность обработки данных.
Ключевая инновация — механизм DeepSeek Sparse Attention (DSA). Он оптимизирует работу трансформеров: вместо полного пересчета всех связей между токенами система фокусируется только на значимых элементах контекста. Такой подход критически важен при анализе объемных документов, где традиционные методы требуют избыточных вычислений.
Модель доступна через бесплатную демо-версию и платформу Hugging Face. Пользователи могут протестировать возможности через веб-интерфейс или интегрировать решение в собственные проекты с помощью библиотеки Hugging Face Transformers. Разработчики рекомендуют проверять эффективность на задачах с расширенным контекстом — например, суммирование статей с последующими уточняющими вопросами.
Читайте также
Выпуск DeepSeek-V3.2-Exp рассматривается как промежуточный этап перед релизом полноценной версии. Архитектурные улучшения направлены на снижение барьера входа для исследователей и разработчиков, которым ранее требовалось значительное оборудование для запуска крупных языковых моделей локально.
