Для геймеров и спортсменов появилось новое приложение, фиксирующее движения

Инженеры Северо-Западного университета разработали новую систему съемки для захвата движений всего тела, сообщает Northwestern. Теперь для этого не нужны специализированные помещения, дорогостоящее оборудование, громоздкие камеры или множество датчиков — вместо этого требуется простое мобильное устройство.

Захват движений тела — метод анимации персонажей и объектов при помощи оцифровки движений реального объекта и последующего переноса их на трехмерную модель. Новая система, получившая название MobilePoser, для этого использует датчики, уже встроенные в мобильные устройства потребителей, включая смартфоны, умные часы и беспроводные наушники. С помощью комбинации данных датчиков, машинного обучения и физики MobilePoser точно отслеживает позу человека и его перемещение в пространстве в режиме реального времени.

«MobilePoser, работая в реальном времени на мобильных устройствах, достигает филигранной точности благодаря передовому машинному обучению и оптимизации на основе физики, открывая новые возможности в играх, фитнесе и навигации в помещении без необходимости использования специализированного оборудования, — говорит Каран Ахуджа из Северо-Западного университета, который возглавлял исследование.

По словам ученого, технология делает возможным значительное продвижение на пути к мобильному захвату движений, делая иммерсивный опыт более доступным и открывая двери для инновационных приложений в различных отраслях. Эксперт в области взаимодействия человека и компьютера, Ахуджа является доцентом кафедры компьютерных наук Лизы Висснер-Сливки и Бенджамина Сливки в Северо-Западной инженерной школе Маккормика, где он руководит лабораторией «Чувствование, восприятие, интерактивные вычисления и опыт» (SPICE). Команда Ахуджи представила MobilePoser на Симпозиуме ACM по программному обеспечению и технологиям пользовательских интерфейсов 2024 года в Питтсбурге.

Большинство киноманов знакомы с технологиями захвата движений, которые часто демонстрируются в закулисных съемках. Для создания CGI-персонажей — таких как Голлум из «Властелина колец» или На’ви из «Аватара» — актеры надевают облегающие костюмы, покрытые датчиками, и расхаживают по специальным комнатам. Компьютер снимает данные с датчиков, а затем отображает движения и мимику актера.

«Это золотой стандарт захвата движений, но стоимость такой установки достигает $100 тыс., — говорит Ахуджа. — Мы хотели разработать доступную, демократичную версию, которую мог бы использовать каждый на уже имеющемся у него оборудовании».

Другие системы распознавания движений, например Microsoft Kinect, используют стационарные камеры, которые следят за движениями тела. Если человек находится в поле зрения камеры, такие системы работают хорошо, но они непрактичны для мобильного или выездного применения.

Чтобы преодолеть эти ограничения, команда Ахуджи обратилась к инерциальным измерительным блокам (IMU) — системе, которая использует комбинацию датчиков (акселерометров, гироскопов и магнитометров) для фиксации движения и ориентации тела. Такие датчики уже используются в смартфонах и других устройствах, но их точность слишком мала для точного захвата движений. Чтобы повысить их производительность, команда Ахуджи добавила специально разработанный многоступенчатый алгоритм искусственного интеллекта (ИИ), который они обучили на общедоступном большом наборе данных синтезированных измерений IMU, полученных из высококачественных данных захвата движений.

С помощью этих датчиков MobilePoser получает информацию об ускорении и ориентации тела. Затем он передает эти данные алгоритму искусственного интеллекта, который оценивает положение и вращение суставов, скорость и направление ходьбы, а также контакт ног пользователя с землей.

Также система использует оптимизатор на основе физики для уточнения прогнозируемых движений, чтобы обеспечить их соответствие реальным движениям тела. В реальной жизни, например, суставы не могут сгибаться назад, а голова не может вращаться на 360°. Оптимизатор гарантирует, что захваченные движения тоже не могут быть вне законов физики.

В результате погрешность отслеживания составляет всего 8–10 см. Для сравнения, у Microsoft Kinect ошибка отслеживания составляет 4–5 см, при условии что пользователь остается в поле зрения камеры. С MobilePoser пользователь может свободно перемещаться.

«Точность выше, когда у человека несколько устройств, например смарт-часы на запястье и смартфон в кармане, — говорит Ахуджа. — Но главная особенность системы в том, что она адаптивна. Даже если в один прекрасный день у вас не будет часов, а будет только телефон, система сможет адаптироваться и определить позу всего тела».

Сферы применения новой разработки разные. MobilePoser может дать геймерам больше возможностей для погружения, а также открывает новые перспективы для здоровья и фитнеса. Оно не ограничивается простым подсчетом шагов, а позволяет пользователю видеть полностью свою осанку, чтобы убедиться в правильности позы при занятиях спортом. Новое приложение также могут использовать врачи, чтобы анализировать подвижность, уровень активности и походку пациента. Кроме того, Ахуджа считает, что технология может быть использована для навигации в помещениях — это слабое место GPS, который работает только на открытом воздухе.

«Сейчас врачи отслеживают подвижность пациентов с помощью счетчика шагов, — говорит Ахуджа. — Это довольно печально, верно? Наши телефоны могут рассчитать температуру в Риме. Они знают о внешнем мире больше, чем о нашем собственном теле. Мы бы хотели, чтобы телефоны стали не просто интеллектуальными счетчиками шагов. Телефон должен уметь распознавать различные виды деятельности, определять ваши позы и быть более активным помощником».

Чтобы вдохновить других исследователей развивать эту работу, команда Ахуджи выпустила предварительно обученные модели, скрипты обработки данных и код обучения моделей в виде программного обеспечения с открытым исходным кодом. Ахуджа также сообщил, что приложение скоро будет доступно для iPhone, AirPods и Apple Watch.

Ранее сообщалось, что Tesla хочет предоставить владельцам Cybertruck возможность полностью автономного вождения (FSD). Присутствие водителя остается обязательным на случай чрезвычайной ситуации. Члены клуба Cybertruck уже установили обновление на свои автомобили.