В Японии ИИ научили переводить язык жестов в текст

Японская компания SoftBank разрабатывает приложение на основе искусственного интеллекта, которое способно в режиме реального времени переводить язык жестов, передает издание Nikkei. Ему уже доступно до 5 тыс. жестов.

Выход приложения запланирован на 2024 год. Оно будет доступно как на смартфонах, так и на ноутбуках.

SoftBank начал первые исследования в 2017 году. Он делал это совместно с Токийским университетом электросвязи и японским стартапом ABEJA, специализирующимся в области искусственного интеллекта.

Алгоритмы ABEJA просмотрели более 50 тыс. видео, в которых используют язык жестов, чтобы обнаружить характерные движения для каждого слова.

В данный момент ученые оттачивают приложение, чтобы оно смогло более точно определять каждый жест. Сейчас его точность составляет до 90%, но когда система сталкивается с необычной жестикуляцией, точность может упасть до 50%. Алгоритм должен будет научиться более 100 вариациям каждого жеста на одно слово.

Сейчас компания предоставляет систему на пробной основе для медицинских организаций Токио и Фукусимы. SoftBank планирует разработать такие же системы для других языков.

Согласно оценкам ВОЗ, к 2050 году более чем 2,5 млрд человек будут страдать от тех или иных проблем со слухом и более чем 700 млн из них будет необходима реабилитация. В Японии на данный момент живут более 300 тыс. человек, которые имеют нарушения слуха и общаются при помощи языка жестов.