Британский стартап создал новый дипфейк. Он позволяет увидеть, как Том Хэнкс идеально говорит на японском
Британская компания Flawless создала дипфейк, который позволяет реалистично дублировать актеров на разных языках, полностью меняя их мимику и артикуляцию. Например, с помощью этой технологии можно увидеть, как герой Роберта Де Ниро из культового фильма «Таксист» идеально говорит на немецком, а герой Тома Хэнкса из «Форреста Гампа» ― на японском или испанском, пишет Wired.
Соучредителем Flawless является британский режиссер Скотт Манн. Он рассказывает, что идея создать дипфейк для дубляжа появилась у него, когда он увидел один из своих фильмов в переводе и ужаснулся. Манн уверяет, что плохое дублирование может фактически убить тщательно продуманные сцены в оригинале.
Адаптация требует значительного изменения диалога, что меняет смысл, а несоответствие оригинальной артикуляции и дублированного перевода может подпортить впечатление от актерской игры и фильма в целом. «Вы вносите небольшое изменение в слово или сцену, и это может сильно повлиять на персонажа и, в свою очередь, на фильм», ― уверен Манн.
В разработке технологии Flawless принял участие профессор Института Макса Планка Кристиан Теобальт. Алгоритм работает так: для начала он фиксирует мимику и движения актера в сцене, и дублера, который говорит эти же реплики на другом языке.
На основе этой информации создается 3D-модель, объединяющая эти параметры. Готовый результат накладывается на кадры фильма, в результате чего зритель может видеть, как актер реалистично говорит на другом языке.
Например, дипфейк позволяет увидеть, как Роберт Де Ниро идеально говорит на немецком в «Таксисте», или Тома Хэнкса, говорящего на испанском и японском языках в сценах из «Форреста Гампа».
По словам Манна, компания уже ведет переговоры об использовании технологии с несколькими студиями. «Скоро она позволит сделать дубляж невидимым, ― уверен режиссер. ― Люди будут смотреть кино и даже не поймут, что изначально оно было снято на английском, французском или каком-то другом языке».
Однако дипфейки и другие видеоманипуляции с помощью искусственного интеллекта давно вызывают споры. Они уже приводили к случаям «дискредитации» публичных личностей, чьих изображений много в открытом доступе.
Например, весной 2019 года в сети было опубликовано дипфейк-видео со спикером палаты представителей конгресса США Нэнси Пелоси. Автор ролика с помощью ИИ изменил речь Пелоси так, что она плохо выговаривала слова, и пользователи, посмотревшие видео, посчитали, что политик пьяна.
Ситуация вылилась в громкий скандал, и лишь спустя некоторое время было доказано, что речь Пелоси была сгенерирована ИИ.
Манн признает, что некоторые актеры также обеспокоены тем, что их изображения будут подвергнуты манипуляциям: «Я постоянно получаю две реакции: это восхищение и страх». Тем не менее режиссер уверен, что технология способна вывести киноиндустрию на новый уровень.
«Технология может использоваться законно и соответствовать этическим стандартам, ― считает Дункан Крэбтри, генеральный советник Гильдии киноактеров. ― Но любое ее применение должно осуществляться только с согласия задействованных исполнителей».
