Meta* представила новую модель ИИ, способную генерировать видео со звуком
Meta* (запрещена на территории РФ) объявила о новой модели искусственного интеллекта под названием Movie Gen, способной создавать реалистичные видео- и аудиоклипы в ответ на запрос пользователя. В компании утверждают, что она может соперничать с инструментами ведущих стартапов по созданию медиа, таких как OpenAI и ElevenLabs.
Примеры работ Movie Gen, предоставленные Meta*, демонстрируют видео плавающих животных, а также ролики с использованием реальных фотографий людей, изображающие их действия, например рисование.
Movie Gen также может генерировать фоновую музыку и звуковые эффекты, синхронизированные с содержанием видео, говорится в сообщении Meta* в блоге. В одном из таких роликов в руки бегущего по пустыне человека вложили помпоны, а в другом превратили парковку, где человек катался на скейтборде, в лужу.
Видеоролики, созданные Movie Gen, могут длиться до 16 секунд, а аудиоклипы — до 45 секунд, сообщили в Meta*. Компания поделилась данными слепых тестов, показавших, что модель демонстрирует хорошие результаты по сравнению с предложениями таких стартапов, как Runway, OpenAI, ElevenLabs и Kling.
Объявление было сделано в то время, когда Голливуд уже в этом году примет решение относительно применения ИИ в индустрии. Этот вопрос был поднят после того, как в феврале OpenAI впервые продемонстрировала, как ее продукт Sora может создавать видеоролики, похожие на художественные фильмы, в ответ на текстовые запросы.
Представители Meta* заявили, что компания вряд ли выпустит Movie Gen для открытого использования разработчиками, как это было с ее серией больших языковых моделей Llama, заявив, что она рассматривает риски индивидуально для каждой модели. В компании добавили, что Meta проводит консультации по поводу использования Movie Gen с индустрией развлечений и другими создателями контента и собирается включить его в линейку продуктов Meta* в следующем году.
Согласно сообщению в блоге и исследовательскому документу об инструменте, выпущенному Meta, для создания Movie Gen компания использовала комбинацию лицензированных и общедоступных наборов данных.
В этом году OpenAI встречалась с представителями Голливуда, чтобы обсудить возможное партнерство с Sora, но пока не сообщается о каких-либо сделках, заключенных в результате этих переговоров. Беспокойство по поводу подхода компании усилилось в мае, когда актриса Скарлетт Йоханссон обвинила создателей ChatGPT в самовольном использовании ее голоса для создания чатбота.
Lions Gate Entertainment, компания, выпустившая фильмы «Голодные игры» и «Сумерки», в сентябре объявила, что предоставляет стартапу Runway доступ к своей библиотеке контента для обучения ИИ-модели. Взамен, по словам компании, студия и ее режиссеры смогут использовать эту модель в своей работе.
Ранее ведущий регулятор Европейского Союза по защите персональных данных оштрафовал Meta* на €91 млн за непреднамеренное хранение паролей некоторых пользователей без защиты или шифрования. Расследование было начато пять лет назад после того, как компания уведомила Комиссию по защите данных Ирландии, что хранила некоторые пароли в «открытом коде».
