Apple будет обучать роботов, используя людей с очками Vision Pro

Компания Apple представила результаты исследования нового метода обучения человекоподобных роботов, получившего название PH2D (Policy from Human and Humanoid Demonstrations). Эта разработка призвана решить проблему высокой стоимости и трудоемкости традиционных подходов к обучению роботов, которые часто полагаются исключительно на демонстрации, выполняемые другими роботами, или на дорогостоящий сбор данных с помощью телеуправления.

Новый подход Apple сочетает использование инструкторов-людей с демонстрациями от роботов. Исследователи выяснили, что такой комбинированный метод может быть более эффективным и экономически выгодным. В ходе экспериментов люди-инструкторы использовали модифицированные потребительские устройства, такие как гарнитуры Apple Vision Pro (с задействованием только одной нижней левой камеры для визуального наблюдения) и Meta* Quest (оснащенные стереокамерами mini ZED), для обучения роботов манипуляциям руками. Для отслеживания позиций головы и рук инструкторов в 3D применялась платформа ARKit от Apple.

В процессе обучения люди захватывали и поднимали определенные предметы, а также переливали жидкости. Эти действия сопровождались голосовыми инструкциями и записывались. Полученные видеоматериалы затем замедлялись для использования в обучении роботов. Apple создала модель, способную обрабатывать учебные данные, полученные как от людей, так и от роботов-демонстраторов, унифицировав их в общую «политику поведения».

Исследование показало, что такой гибридный подход не только снижает затраты на обучение, но и приводит к улучшению обобщаемости и устойчивости поведения роботов по сравнению с обучением только на данных от реальных роботов. Особенно это было заметно при выполнении определенных задач, например вертикального захвата объектов. 

Ранее появились слухи, что Apple планирует разработать мобильного робота для конечных потребителей, способного выполнять домашние дела. 

*организация запрещена в РФ и признана экстремистской.