В Китае создали первую модель для распознавания и сегментации предметов в VR

Китайский стартап Manycore Tech Inc. представил SpatialLM – первую ИИ-модель для обработки трехмерных облаков точек в виртуальной реальности. Модель способна генерировать структурированные данные для понимания 3D-сцен, включая архитектурные элементы (стены, двери, окна) и семантические категории объектов с их пространственной ориентацией.

В отличие от существующих решений, SpatialLM не требует специализированного оборудования для сбора данных. Нейросеть обрабатывает облака точек из различных источников, а также связывает неструктурированные данные со структурированными 3D-представлениями.

Для обучения алгоритма исследователи собрали огромный набор данных с фотореалистичными объектами, правильно размещенными в различных сценах. Результаты прогнозирования SpatialLM универсальны и совместимы с различными платформами, а выходные данные могут быть представлены в разных форматах. Например, в виде 3D-сеток или двухмерных рамок.

По словам разработчиков, в будущем модель сможет взаимодействовать с людьми как интеллектуальный помощник и помогать в выполнении сложных задач в различных средах. Также нейросеть может помочь роботам лучше определять положение и тип объектов, чтобы избегать препятствий и правильно распознавать предметы.