У ИИ большие проблемы с генерацией видео, 3D-моделей и синтезом речи — выяснили, в чем нейросети все еще не могут заменить людей

Текст: Елизавета Пикулицкая

Нет сомнений — будущее принадлежит ИИ. По подсчетам TechCrunch, в 2024 году инвестиции в генеративный ИИ составили $56 млрд. Это вдвое больше, чем годом ранее ($29,1 млрд). Ожидаемая революция в технологиях уже происходит, но если взглянуть на результаты, становится ясно: до настоящего прорыва науке еще предстоит пройти долгий путь.

Пока инвесторы закладывают прочный научный фундамент, «Инк.» вместе с экспертами посмотрел на процесс производства ИИ–контента и попытался понять, почему технологии развивают не так быстро, как мы этого хотим, и с какими барьерами сталкиваются ИИ–энтузиасты сегодня.

«Туманные» области

Кадровая генерация — это относительно новый инструмент. Одной из первых программ, которые переводили текст в видео при помощи ИИ–алгоритмов, стала Make–a–video от Meta*, анонс которой был в 2022 году. Первые результаты смотрелись неутешительно: анимированные изображения выглядели скорее забавно, чем хоть сколько-то практично.

Был и ряд стартапов, которые добились успеха значительно раньше, например виртуальные аватары. В отличие от моделей text-to-video или двигающихся картинок, сегодня такие компании предлагают пользователям первые модели оцифрованных людей. Подробно о них можно почитать в нашем материале.

Сегодня «говорящие головы» пока подойдут скорее для рутинной, несложной коммуникации. Например, в этом видео британская компания Synthesia демонстрирует, как ИИ–блогер Алекс рассказывает о прочитанных книгах и дает им короткие ревью. Отличить AI в таких продуктах легко: программе сложнее всего дается имитация голоса и мимики — последние особенно часто создают проблемы для инженеров.

Другой проект из Америки, стартап HeyGen, годом ранее выпустил ролик-сравнение — их модель против Synthesia. На первый взгляд все очевидно, но уже в последних демонстрациях становится понятно, что HeyGen сталкиваются с теми же проблемами, что и конкуренты.

Рыночная оценка Synthesia составляет $2,1 млрд, стоимость HeyGen — около $500 млн. Несмотря на огромные инвестиции, искусство имитации все еще далеко от совершенства — процесс протекает медленнее, чем нам бы того хотелось.

Кроме того, сейчас ученые активно исследуют и то, как внешний вид роботов влияет на их восприятие человеком. В Бременском университете исследователи установили, что роботы с глазами (или чертами, похожими на глаза) кажутся людям более умными и человечными. Участникам демонстрировали гуманоидных роботов с глазами и без, после чего оценивали их в анкетах и с помощью Имплицитного ассоциативного теста (IAT).

Один из последних прорывов в робототехнике — робот с силиконовым лицом, которого создали в Колумбийском университете. Он устанавливает зрительный контакт и использует две модели искусственного интеллекта, чтобы предугадывать и воспроизводить улыбку человека еще до того, как он сам улыбнется.

Чтобы «оживить» Emo, команда создала две модели ИИ: одна анализирует мельчайшие изменения в выражении лица человека и предсказывает эмоции, другая преобразует эти предсказания в моторные команды для робота.

Чтобы обучить Emo мимике, его поставили перед камерой и дали команду двигаться случайным образом. Через несколько часов он самостоятельно научился соотносить свои выражения с двигательными командами, подобно тому как люди практикуются перед зеркалом, — этот процесс назвали «самомоделированием».

Далее Emo показывали видеозаписи лиц в покадровом режиме. После нескольких часов обучения он научился предсказывать выражения людей, улавливая едва заметные изменения на их лицах еще до того, как они начали улыбаться.

Проблема заключается в поддержании последовательности кадров на протяжении длительного времени. Дело в том, что нейросети часто испытывают трудности с воспроизведением одной и той же сцены без искажений, что особенно заметно в сложных динамических сюжетах.

Другая проблема — ограничение вычислительных ресурсов. Пшинник подчеркивает, что генерация длинных видеороликов требует значительных вычислительных мощностей и объема памяти. Даже при использовании современных GPU видео длительностью более нескольких секунд — ресурсоемкий и долгий процесс.

Уже в рекламе

Однако есть и компании, которые задействуют ИИ в маркетинге. Компания по созданию молочных продуктов «Верховье» совместно с маркетинговым агентством Okkam сгенерировали с ИИ проморолик молочных продуктов. Глава процесса продакшна Эдуард Маас говорит, что воплотить его в жизнь удалось с помощью постобучения моделей: мощностей самих программ пока не хватает, чтобы автоматизировать процесс без создания человека. Маас подчеркивает, что в работе с ИИ до сих пор нет четко отлаженных способов контроля над процессом.

Несмотря на это, Кирилл Пшинник настроен оптимистично. Он уверен, что по мере развития моделей и увеличения вычислительных мощностей мы будем все активнее использовать ИИ в генеративных индустриях — и это произойдет уже скоро. «Уже в течение пяти лет мы увидим первые фильмы, полностью созданные нейросетью. Первоначально эта технология будет доступна только крупным студиям, но в перспективе десяти лет, с драматическим снижением стоимости вычислений, она станет доступной каждому. Так появится новая эпоха кино, где каждый сможет стать режиссером, продюсером, оператором и актером одновременно», — считает он.

Как было раньше

Первые программы по генерации трехмерных изображений появились не так давно: первые полноценные модели объектов создавал продукт от Nvidia. Технология называлась DIB-R и прогнозировала, как двухмерная картинка могла бы выглядеть в трехмерном пространстве. Алгоритм рассчитывал освещение, текстуру, глубину и объем и после выдавал результат. Но для массового использования DIB-R выглядел слишком сырым.

В массы 3D–ИИ вышел с запуском другой, более поздней нейросети от Nvidia — GANverse3D. Технология позволила быстро создавать 3D–объекты из простых фотографий, значительно упростив процесс моделирования. GANverse3D была основана на предыдущей модели, DIB-R, но значительно превосходила предшественницу по качеству работы: повысилась детализация, а на смену привычным датасетам пришло беконечное множество фотографий. Кроме того, технология позволила выполнять постобработку модели в программе Nvidia Omniverse.

С GANverse3D началась популяризация 3D–ИИ: компания стремилась к запуску продукта для широкого круга пользователей, но главной аудиторией все равно были люди из профессиональной среды — дизайнеры, разработчики и архитекторы. GANverse3D стала толчком к волне ИИ–стартапов по 3D–моделированию с помощью промптов: вскоре появились такие игроки, как DreamFusion, Tripo AI и Meshy, которые со временем заняли свою нишу в этой гонке.