Facebook с помощью ИИ научил аватары пользователей играть на фортепиано и скрипке

Исследователи искусственного интеллекта из лаборатории Facebook научили аватары пользователей играть на музыкальных инструментах. Об этом сообщает CNBC.

Разработчики обучили нейронную сеть на видеороликах с YouTube, где люди играют на скрипке и фортепиано. Алгоритм научили понимать связь между жестами и музыкой.

Сначала аватары научились играть на несуществующих инструментах: они двигали руками и пальцами под музыкальное произведение. Для этого исследователи использовали программное обеспечение Apple ARKit AR для разработчиков.  «Мы считаем, что корреляция между звуками и человеческим телом очень важна для развития VR и AR технологий», — объяснили они.

В апреле Facebook на конференции для разработчиков F8 представил Facebook Spaces — платформу виртуальной реальности. В июле была запущена бета версия, доступная ограниченному числу пользователей.

Для погружения в виртуальную реальность пользователю нужен VR-шлем Oculus Rift и компьютер с достаточной мощностью. После настройки можно получить бесплатный доступ в Facebook Spaces через Oculus Store. После того как пользователь вошел в свою учетную запись, он создает аватар — цифровую модель самого себя. В этом ему помогает система, которая анализирует фотографии из профиля.

Подписывайтесь на наш канал в Telegram!