Представлена первая в мире носимая технология распознавания человеческих эмоций в реальном времени

Исследователи представили инновационную технологию распознавания эмоций в реальном времени, использующую персонализированный интерфейс с автономным питанием для всестороннего эмоционального анализа. Эта технология, перспективная для портативных устройств, знаменует собой скачок к персонализированным услугам на основе эмоций и улучшенному взаимодействию человека и машины.

Профессор Джиюн Ким и его команда с факультета материаловедения и инженерии Ульсанского национального института науки и технологий (UNIST) разработали новаторскую технологию, способную определять эмоции человека в режиме реального времени. Эта передовая инновация способна произвести революцию в различных отраслях, включая носимые системы нового поколения, которые предоставляют услуги на основе эмоций.

Понимание и точное извлечение эмоциональной информации долгое время оставалось сложной задачей из-за абстрактной и неоднозначной природы человеческих аффектов, таких как эмоции, настроение и чувства. Для решения этой проблемы исследовательская группа разработала мультимодальную систему распознавания человеческих эмоций, которая объединяет данные о вербальном и невербальном выражении лица для эффективного использования комплексной эмоциональной информации.

В основе этой системы лежит персонализированный кожно-интегрированный интерфейс лица (PSiFI), который работает от автономного питания. Она оснащена первым в своем роде двунаправленным трибоэлектрическим датчиком деформации и вибрации, который позволяет одновременно получать и интегрировать данные о вербальном и невербальном выражении лица. Система полностью интегрирована со схемой обработки данных для беспроводной передачи, что позволяет распознавать эмоции в режиме реального времени.

Используя алгоритмы машинного обучения, разработанная технология демонстрирует точное распознавание эмоций человека в режиме реального времени, даже если на человеке надета маска. Система также была успешно применена в приложении для цифровых консьержей в среде виртуальной реальности (VR).

Технология основана на явлении «фрикционного заряда», когда объекты разделяются на положительные и отрицательные заряды при трении. Примечательно, что система работает сама по себе, не требуя внешнего источника питания или сложных измерительных приборов для распознавания данных.

«На основе этих технологий мы разработали интегрированную в кожу систему лицевого интерфейса (PSiFI), которая может быть адаптирована под конкретного человека», — сказал профессор Ким. Команда использовала метод полуотверждения, чтобы изготовить прозрачный проводник для электродов фрикционной зарядки. Кроме того, с помощью техники многоугольной съемки была создана индивидуальная маска, сочетающая в себе гибкость, эластичность и прозрачность.

Исследовательская группа успешно интегрировала обнаружение деформации лицевых мышц и вибрации голосовых связок, что позволило распознавать эмоции в режиме реального времени. Возможности системы были продемонстрированы в приложении виртуальной реальности «цифровой консьерж», где предоставлялись индивидуальные услуги, основанные на эмоциях пользователей.

Джин Пё Ли, первый автор исследования, заявил: «С помощью разработанной системы можно реализовать распознавание эмоций в реальном времени всего за несколько шагов обучения и без сложного измерительного оборудования. Это открывает возможности для создания портативных устройств распознавания эмоций и цифровых платформ нового поколения для оказания услуг на основе эмоций в будущем».

Исследовательская группа провела эксперименты по распознаванию эмоций в режиме реального времени, собирая мультимодальные данные, такие как деформация лицевых мышц и голос. Система продемонстрировала высокую точность распознавания эмоций при минимальном обучении. Беспроводная и настраиваемая система обеспечивает удобство ношения.

Кроме того, команда применила систему в VR-средах, используя ее в качестве «цифрового консьержа» для различных помещений, включая умные дома, частные кинотеатры и умные офисы. Способность системы определять индивидуальные эмоции в различных ситуациях позволяет предоставлять персонализированные рекомендации по музыке, фильмам и книгам.

«Для эффективного взаимодействия между людьми и машинами устройства человеко-машинного интерфейса (HMI) должны быть способны собирать различные типы данных и обрабатывать сложную интегрированную информацию. Это исследование демонстрирует потенциал использования эмоций, которые являются сложной формой человеческой информации, в носимых системах следующего поколения», — сказал Ким.

Эмоциональное выгорание не является официальным диагнозом. Тем не менее оно негативно влияет на людей психически и физически и часто может привести к другим проблемам со здоровьем. Международная команда исследователей разработала инструмент для выявления уровня риска выгорания на рабочем месте, получивший официальное название Burnout Assessment Tool (BAT). Это серия вопросов, предназначенных для оценки психического и физического состояния человека.