Мозговой имплантат впервые научили одновременно распознавать речь и жесты
Один мозговой имплантат смог одновременно распознавать попытки говорить и жестикулировать у людей с тяжелым параличом. Система с помощью искусственного интеллекта считывала электрическую активность мозга и в реальном времени преобразовывала ее в текст и движения персонализированного виртуального аватара. Результаты исследования опубликованы в Nature Neuroscience.
Современные интерфейсы «мозг — компьютер» уже помогают людям с параличом общаться с помощью синтезированной речи, управлять курсором или роботизированными устройствами. Однако большинство подобных разработок восстанавливает одну функцию за раз. Новая система впервые объединила в одном интерфейсе речь и невербальные жесты, которые в обычном разговоре часто дополняют друг друга.
Имплантат представляет собой массив из 253 электродов, хирургически размещенных на поверхности коры левого полушария. Он охватывает достаточно большую часть сенсомоторной коры, чтобы улавливать сигналы, связанные как с попытками говорить, так и с движениями разных частей тела.
В исследовании участвовали три человека с тяжелыми нарушениями речи и движений, однако одновременное распознавание речи и жестов через аватар проверяли у двух из них. Один перенес инсульт ствола мозга, другой страдал боковым амиотрофическим склерозом (БАС), который постепенно нарушил его способность говорить и двигаться. Участников просили пытаться произносить заданные фразы, выполнять или представлять определенные жесты, а также сочетать их — например, сказать «привет» и одновременно помахать рукой.
Система анализировала активность мозга двумя параллельными алгоритмами. Один распознавал попытку произнести заданную фразу и выводил ее на экран в виде текста, другой определял жест и заставлял персонализированного полноразмерного аватара повторять соответствующее движение. Оба декодера могли работать одновременно, поэтому участник мог, например, вывести на экран «привет» и в тот же момент помахать рукой через своего аватара.
Одновременное распознавание создало отдельную техническую проблему: нейронные сигналы, связанные с речью и движениями, частично перекрывались. Более того, когда участник пытался говорить и жестикулировать одновременно, активность мозга несколько отличалась от той, которую система видела при каждом действии по отдельности. Поэтому алгоритмы обучали не только на отдельных фразах и жестах, но и на их сочетаниях — это повысило точность работы в разных сценариях.
Авторы подчеркивают, что разработка пока остается доказательством принципа, а не готовым медицинским устройством. Нынешний прототип умеет распознавать лишь ограниченный набор заранее заданных фраз и жестов, а испытания одновременной работы провели всего с двумя людьми. Тем не менее эксперимент показал, что один имплантат в принципе способен поддерживать сразу несколько каналов коммуникации и в перспективе сделать нейропротезы более похожими на обычное человеческое общение.
Исследователи рассчитывают, что развитие таких многофункциональных интерфейсов позволит людям с тяжелым параличом не просто передавать слова, но и возвращать в общение жесты и другие невербальные сигналы. В перспективе это может сделать нейропротезы более естественными в использовании и приблизить их к повседневной коммуникации.
Подпишитесь на «Инк» в Telegram. Там мы пишем нескучным языком о самом важном для предпринимателей. Подписаться.
