Глухой программист из Новосибирска создал переводчик с языка жестов. Он собирается конкурировать с Microsoft
Глухой программист из Новосибирска Алексей Приходько представил прототип системы, которая способна переводить язык жестов в текст на русском языке. Об этом говорится на сайте Новосибирского государственного технического университета, который закончил разработчик.
Алексей Приходько — единственный глухой программист в мире, который работает над созданием автоматического переводчика жестов на звуковой язык. По его словам, сегодня существует много компаний, которые утверждают, что смогли создать готовый переводчик для глухих, но «совершенного» среди них нет.
АЛЕКСЕЙ ПРИХОДЬКО
программист
«Savvy Motion, Kinect Sign Language Translator в Microsoft Research и другие крупные компании до сих пор не смогли реализовать полностью эту задачу перевода с жестового языка на звуковой язык, поэтому качество работы таких приложений оставляет желать лучшего».
Программа, над которой работает Приходько, работает по аналогии с мозгом человека. При помощи камеры она распознает картинку и фиксирует жесты, которые затем превращает в изображения. Далее они переводятся в модели и обрабатываются системой, которая сопоставляет их с данными в нейронной сети. После полного процесса обработки компьютер выводит на монитор уже соответствующий жестам текстовый перевод.
АЛЕКСЕЙ ПРИХОДЬКО
программист
«С письменного языка на жестовый переводить не сложно. Технически тяжело распознать жесты и их перевести. Все зависит еще от того, какая камера и какие датчики. Существует два способа распознавания жестов при помощи техники: безмаркерный и маркерный. Маркерная система — это когда у человека надеты специальные перчатки, приборы на запястья, браслеты и современные агрегаты, которые учитывают движение мышц и точки на корпусе человека. Я пошел сложным путем, который не требует больших затрат на специальное оборудование для создания программы с маркерной системой. Моя программа безмаркерным методом распознает человека и его жесты при помощи камер».
Основная проблема в разработке качественного переводчика с жестового языка связана с особенностью его грамматики, говорится на сайте университета. Сегодня ни одна программа не способна заменить живых переводчиков. Сложность компьютеризации перевода заключается в том, что он зависит не только от конфигурации и ориентации рук, но и от их движения, месторасположения и так называемого лингвистами немануального компонента жестов (выражения лица, движения губ и других знаков артикуляции).
В настоящее время Алексей Приходько ищет инвесторов, которые захотят участвовать в проекте по разработке переводчика русского жестового языка.
АЛЕКСЕЙ ПРИХОДЬКО
программист
«Я бы смог доработать прототип до конечного продукта за 1-2 года, если бы кто-то готов был инвестировать. Мне не хватает сейчас ресурсов на работу над системой и кандидатской диссертацией (денежные расходы на патент, защиту и консультацию, переводчик РЖЯ)».
Помимо встроенной функции переводчика система Приходько способна управлять компьютером при помощи жестов. Движениями рук можно настроить громкость, яркость и управлять курсором на экране без помощи мыши.
Ранее Inc. рассказывал, что в ученые из Калифорнийского университета в Сан-Диего разработали «умную» перчатку, которая автоматически переводит американский язык жестов (ASL) в текст на экране цифрового устройства. Стоимость всех комплектующих гаджета не превысила $100.
