Создана ИИ-модель для редактирования видео по текстовым запросам
Компания Decart AI представила Lucy Edit — первую фундаментальную модель с открытым исходным кодом для редактирования видео с помощью текстовых команд. Технология позволяет пользователям изменять видео, давая инструкции на естественном языке, например «переодень девушку на фото в клоуна» или «преврати поезд в ракету», без необходимости использовать маски или ручную разметку.
В отличие от коррекции фото, качественное редактирование видео достаточно сложное и требует большого опыта. Существующие методы либо слишком медленные и требуют сложной настройки для каждого клипа, либо зависят от вспомогательных данных (карт глубины, масок), что ограничивает их применение. Хорошее редактирование должно одновременно точно следовать инструкции, сохранять идентичность объектов, обеспечивать временную согласованность и реализм.
Lucy Edit, по заверениям разработчиков, удовлетворяет всем четырем критериям. Модель построена на генеративной архитектуре rectified-flow и использует простой, но эффективный метод: она обьединяет по канальному измерению скрытое представление исходного видео и зашумленное представление кадра, который генерируется в данный момент. Это позволяет точно применять изменения, сохраняя при этом исходное движение и детали.
Компания выпустила две версии продукта: Lucy Edit Dev с открытым исходным кодом для исследовательского сообщества и более мощную Lucy Edit Pro, доступную через API для коммерческого использования. Это делает технологию доступной как для энтузиастов и ученых, которые могут на ее основе создавать новые инструменты, так и для профессионалов в медиаиндустрии.
Lucy Edit может значительно снизить затраты на производство контента, позволяя вносить правки в отснятый материал (менять одежду, реквизит, фон) без дорогостоящих пересъемок. Модель демонстрирует высокую точность локализованных правок, реалистичную интеграцию нового контента и четкое следование текстовым инструкциям, что делает ее готовым инструментом для практического применения.
