Представлена ИИ-модель, одновременно улучшающая качество картинки и частоту кадров в видео

Исследовательская группа из корейского института UNIST разработала ИИ-модель, способную одновременно повышать разрешение и частоту кадров в видео. Традиционные методы улучшения видео решают эти две задачи по отдельности. Они часто полагаются на сложные и медленные сети прогнозирования оптического потока для оценки движения, что приводит к накоплению ошибок и снижению качества.

Новая модель, названная BF-STVSR, решает эту проблему принципиально иначе. Она использует методы обработки сигналов, адаптированные специально для видео. Это позволяет модели самостоятельно изучать двунаправленное движение между кадрами без зависимости от внешних сетей оптического потока. Технология одновременно определяет контуры объектов и поток их движения, что обеспечивает более естественное и целостное восстановление видео.

Применение BF-STVSR к видео с низким разрешением и низкой частотой кадров показало превосходные результаты по сравнению с существующими моделями. Качество оценивалось по стандартным метрикам: пиковому отношению сигнала к шуму (PSNR) и индексу структурного сходства (SSIM). Высокие значения этих показателей означают, что даже в видео с быстрыми движениями сохраняются четкие детали и фигуры людей без искажений.

Результаты работы были представлены на престижной конференции по компьютерному зрению и распознаванию образов CVPR 2025. Новую технологию можно использовать для восстановления записей с камер видеонаблюдения или видеорегистраторов низкого качества. Она также подходит для быстрого улучшения сжатых потоковых видео для медиа-контента высокого качества. Кроме того, технология может принести пользу в таких областях, как медицинская визуализация и виртуальная реальность (VR), где четкость и плавность изображения имеют решающее значение.

Ранее компания Alibaba представила ИИ-модель VACE для редактирования сгенерированных нейросетями видео.