Инженеры разработали камеру, подобную человеческому глазу
Исследователи из Университета Мэриленда разработали камеру Artificial Microsaccade-Enhanced Event Camera (AMI-EV), чтобы улучшить зрение роботов, уменьшая размытость движения в динамичных средах. Новая камера имитирует непроизвольные движения человеческого глаза, создавая более четкие и точные изображения для роботов, смартфонов и других устройств для захвата изображений.
Ученые-компьютерщики изобрели улучшенный механизм камеры, через которую роботы видят окружающий мир. Вдохновленная работой человеческого глаза, исследовательская группа под руководством Университета Мэриленда разработала инновационную систему камеры, которая имитирует мельчайшие непроизвольные движения глаза для поддержания четкого и стабильного зрения в течение долгого времени.
Прототип и испытания камеры, получившей название Artificial Microsaccade-Enhanced Event Camera (AMI-EV), были подробно описаны в статье, недавно опубликованной в журнале Science Robotics.
«Событийные камеры — это относительно новая технология, которая позволяет отслеживать движущиеся объекты лучше, чем традиционные камеры, но современные событийные камеры с трудом позволяют получать четкие и нерезкие изображения при сильном движении», — говорит ведущий автор статьи Ботао Хэ, аспирант кафедры информатики UMD.
«Это большая проблема, потому что роботы и многие другие технологии, такие как самоуправляемые автомобили, нуждаются в точных и своевременных изображениях, чтобы правильно реагировать на изменения в окружающей среде. Поэтому мы задались вопросом, как люди и животные следят за тем, чтобы их зрение оставалось сфокусированным на движущемся объекте», — добавил он.
Команда Хэ нашла ответ в микросаккадах — небольших и быстрых движениях глаз, которые непроизвольно происходят, когда человек пытается сфокусировать взгляд. Благодаря этим минутным, но непрерывным движениям человеческий глаз может сохранять фокус на объекте и его визуальных текстурах — таких как цвет, глубина и тень — с высокой точностью в течение долгого времени.
«Мы решили, что, подобно тому как наши глаза нуждаются в этих крошечных движениях, чтобы оставаться сфокусированными, камера может использовать аналогичный принцип для получения четких и точных изображений без размытости, вызванной движением», — сказал он.
Команда успешно воспроизвела микросаккады, вставив вращающуюся призму внутрь AMI-EV, чтобы перенаправить световые лучи, захваченные объективом. Непрерывное вращательное движение призмы имитировало естественные движения человеческого глаза, позволяя камере стабилизировать текстуру регистрируемого объекта так же, как это делал бы человек.
Затем команда разработала программное обеспечение для компенсации движения призмы в AMI-EV, чтобы отъединить стабильные изображения от смещающегося света.
После нескольких секунд фиксации (пристального взгляда) на красном пятне на этом статичном изображении детали фона начинают визуально блекнуть. Это происходит потому, что за это время микросаккады подавляются и глаз не может обеспечить эффективную визуальную стимуляцию для предотвращения периферического угасания. Соавтор исследования Яннис Алоимонос, профессор информатики в UMD, считает изобретение команды большим шагом вперед в области роботизированного зрения.
«Наши глаза фотографируют окружающий нас мир, и эти изображения отправляются в мозг, где они анализируются. Восприятие происходит через этот процесс, и именно так мы понимаем мир», — объясняет Алоимонос, который также является директором лаборатории компьютерного зрения в Институте передовых компьютерных исследований Университета Мэриленда (UMIACS). Когда вы работаете с роботами, замените глаза камерой, а мозг — компьютером».
Исследователи также считают, что их инновация может иметь значительные последствия не только для робототехники и национальной обороны. Ученые, работающие в отраслях, которые зависят от точности захвата изображений и обнаружения форм, постоянно ищут способы улучшить свои камеры, и AMI-EV может стать ключевым решением многих проблем, с которыми они сталкиваются.
«Благодаря своим уникальным характеристикам датчики событий и AMI-EV могут занять центральное место в сфере умных носимых устройств», — говорит научный сотрудник Корнелия Фермюллер, старший автор статьи.
«Они имеют явные преимущества перед классическими камерами, такие как превосходная производительность в экстремальных условиях освещения, низкая задержка и низкое энергопотребление. Эти характеристики идеально подходят, например, для приложений виртуальной реальности, где требуется бесшовный опыт и быстрое вычисление движений головы и тела», — добавил он.
В ходе ранних испытаний AMI-EV смог точно захватить и отобразить движение в различных контекстах, включая определение пульса человека и идентификацию быстро движущихся фигур. Исследователи также обнаружили, что AMI-EV может захватывать движение с частотой десятки тысяч кадров в секунду, превосходя по этому показателю большинство обычных коммерческих камер, которые снимают в среднем от 30 до 1 тыс. кадров в секунду.
Такое более плавное и реалистичное изображение движения может сыграть решающую роль в самых разных областях — от создания более захватывающих эффектов дополненной реальности и улучшения контроля безопасности до совершенствования методов съемки астрономами космического пространства.
«Наша новая система камер может решить множество специфических проблем, например помочь самодвижущемуся автомобилю определить, что на дороге является человеком, а что нет, — говорит Алоимонос. — В результате она имеет множество применений, с которыми уже взаимодействует большая часть населения, например системы автономного вождения или даже камеры смартфонов. Мы считаем, что наша новая система камер прокладывает путь для более продвинутых и способных систем, которые появятся в будущем».
Ранее стало известно, что стартап Albedo, специализирующийся на создании спутниковых снимков, готовится к своему близкому дебюту. Первый спутник Albedo планируют запустить на орбиту весной следующего года, компания надеется перевернуть индустрию коммерческого наблюдения Земли благодаря своему новому подходу и камерам сверхвысокого разрешения.
