Adobe утверждает, что в этом году появится генерация видео в ИИ Firefly
Как сообщает TechCrunch, пользователи получат первый шанс попробовать модель искусственного интеллекта Adobe для создания видео всего через пару месяцев. По словам компании, функции, основанные на модели Adobe Firefly Video, станут доступны до конца 2024 года в бета-версии приложения Premiere Pro и на бесплатном веб-сайте.
По словам Adobe, три функции — Generative Extend, Text to Video и Image to Video — в настоящее время находятся в закрытой бета-версии, но скоро станут общедоступными. Функция Generative Extend, позволяющая удлинить любое видео на две секунды, будет встроена в бета-версию приложения Premiere Pro в конце этого года. Модели Firefly Text to Video и Image to Video, создающие пятисекундные видеоролики на основе подсказок или изображений, будут доступны на специальном сайте Firefly в конце этого года.
Ограничение по времени может увеличиться, отметили в Adobe. Программное обеспечение Adobe десятилетиями пользовалось популярностью у творческих людей, но такие инструменты генеративного ИИ могут перевернуть всю отрасль, в которой работает компания, к лучшему или к худшему.
Firefly — это ответ Adobe на недавнюю волну моделей генеративного ИИ, включая Sora от OpenAI и Gen-3 Alpha от Runway. Эти инструменты покорили аудиторию, создавая клипы за считанные минуты, на создание которых человеку потребовались бы часы. Однако эти ранние попытки создания инструментов обычно считаются слишком непредсказуемыми для использования в профессиональных условиях.
Однако Adobe считает, что управляемость поможет ей выделиться. Технический директор Adobe по цифровым медиа Эли Гринфилд говорит, что у Firefly есть «огромный аппетит» к инструментам искусственного интеллекта, которые могут дополнить или ускорить существующие рабочие процессы.
Например, по словам Гринфилда, функция генеративной заливки Firefly, добавленная в Adobe Photoshop в прошлом году, является «одной из самых часто используемых функций, которые мы ввели за последнее десятилетие».
Adobe не стала раскрывать стоимость этих видеофункций с ИИ. Для других инструментов Firefly Adobe выделяет клиентам Creative Cloud определенное количество «генеративных кредитов», где один кредит обычно дает один результат генерации. Более дорогие тарифные планы, очевидно, предоставляют больше кредитов.
В демонстрационном ролике Гринфилд рассказал о функциях Firefly, которые появятся в этом году. Функция Generative Extend может дополнить исходное видео, добавив к нему две секунды относительно незаметно. Функция берет несколько последних кадров сцены и прогоняет их через видеомодель Firefly, чтобы предсказать следующие пару секунд.
Для озвучивания сцены Generative Extend воссоздает фоновый шум, например, дорожное движение или звуки природы, но не голоса людей или музыку. По словам Гринфилда, это необходимо для соблюдения лицензионных требований музыкальной индустрии.
В одном из примеров Гринфилд показал видеоклип с астронавтом, смотрящим в космос, который был изменен с помощью этой функции. «Я смог определить момент, когда он был расширен, — сразу после появления на экране необычной вспышки объектива, но панорамирование камеры и объекты в сцене остались неизменными. Я вижу, что эта функция может пригодиться, когда сцена заканчивается слишком быстро и вам нужно протянуть ее еще немного, чтобы сделать переход или затухание», — сказал Гринфилд.
Функции Firefly «Текст в видео» и «Изображение в видео» более привычны. Они позволяют ввести текст или изображение и получить до пяти секунд видео. Пользователи смогут получить доступ к этим генераторам видео с ИИ на сайте firefly.adobe.com, вероятно, с ограничениями по скорости (хотя Adobe не уточнила).
Adobe также утверждает, что функции Firefly «Текст в видео» довольно хорошо справляются с правильным написанием слов, с чем видеомодели ИИ обычно не справляются.
Что касается мер предосторожности, то на первых порах Adobe проявляет осторожность. Гринфилд говорит, что у видеомоделей Firefly есть блоки на создание видеороликов, включающих обнаженную натуру, наркотики и алкоголь.
Кроме того, он добавил, что модели Adobe для создания видеороликов не обучаются на публичных личностях, таких как политики и знаменитости, чего нельзя сказать о некоторых конкурентах.
Ранее Adobe объявила о добавлении функции Generative Remove для Lightroom. Созданная на базе Firefly, функция GenAI позволяет легко редактировать объекты на фотографиях. Функция уже поступила в ранний доступ.
