Runway представила новую ИИ-модель для генерации видео. Она может создавать целые фильмы

Компания Runway представила новую модель искусственного интеллекта Gen-4 для генерации видео. Сообщается, что разработчики смогли решить одну из ключевых проблем ИИ-генераторов видео — поддержание последовательности персонажей и объектов на протяжении всего видеоряда. Согласно тестам, Gen-4 создает более динамичные видео с реалистичными движениями, сохраняя при этом единый стиль и объекты на всех кадрах.

Новая модель может поддерживать согласованность персонажей, используя всего одно эталонное изображение в различных условиях освещения, локациях и художественных обработках. Также модель стала значительно лучше симулировать физические законы в видео. В качестве входных данных пользователи могут использовать как текст, так и изображения.

Для демонстрации возможностей Runway создала несколько демо-фильмов. «Нью-Йорк — это зоопарк» показывает согласованность персонажей, размещая одних и тех же животных в разных сценах города. «Стадо» демонстрирует сцену погони, а ролик «Находка», на создание которого ушло меньше недели, показывает исследователей, ищущих таинственный цветок.

Модель Gen-4 уже доступна для платных подписчиков и корпоративных клиентов. Функции работы с референсами будут добавлены в будущем обновлении. Дополнительные примеры можно найти на официальном сайте RunwayML.