Основатель и генеральный директор компании Figure Бретт Адкок представил новую модель машинного обучения для роботов гуманоидного форм-фактора. Это произошло через две недели после того, как робототехническая компании Bay Area отказалась от сотрудничества с OpenAI и сосредоточилась на разработке Helix, «универсальной» модели Vision-Language-Action (VLA).

VLA — это новое явление для робототехники. Технология способна обрабатывать информацию, используя как визуальные данные, так и языковые команды. Это позволяет роботам лучше понимать окружающую среду и взаимодействовать с ней.

В настоящее время самым известным примером этой категории является RT-2 от Google DeepMind, которая обучает роботов с помощью комбинации видео и больших языковых моделей (LLM). Helix работает аналогичным образом, сочетая визуальные данные и языковые промпты для управления роботом в режиме реального времени.

По словам разработчиков, Figure может распознавать и обучаться определять самые различные объекты, способен подбирать тысячи новых бытовых предметов различной формы, размера, цвета и свойств материалов, которые никогда не встречались в процессе обучения, просто спрашивая о них на естественном языке.

Helix предназначена для преодоления разрыва между зрением и обработкой языка. Получив голосовую подсказку на естественном языке, робот визуально оценивает обстановку, а затем выполняет задание.

Figure предлагает такие примеры запросов, как «передай пакет с печеньем роботу справа» и «возьми пакет с печеньем у робота слева и положи его в открытый ящик». Helix предназначена для управления сразу двумя роботами, один из которых помогает другому выполнять различные бытовые задачи.

Разработчики не только продемонстрировали модель VLM, но и рассказали об обучении роботов действиям в домашних условиях. Такая среда, как известно, сложна для них, поскольку здесь нет структуры и последовательности, как на складах и производствах.

Трудности с обучением и управлением являются основными препятствиями, стоящими между сложными роботизированными системами и применением этих технологий в быту. Эти проблемы, а также пяти-шестизначные ценники являются причиной, по которой домашние роботы пока не стали приоритетом для большинства производителей.

«Чтобы роботы могли быть полезны в домашнем хозяйстве, они должны быть способны генерировать новые интеллектуальные модели поведения по требованию, особенно в отношении объектов, которые они никогда раньше не видели, — пояснили в Figure. — В настоящее время их обучение требует значительных человеческих усилий: либо часов ручного программирования экспертами, либо тысяч демонстраций».

Ручное программирование не подходит для дома, так как здесь слишком много неизвестных. Кухни, гостиные и ванные комнаты сильно отличаются друг от друга. То же самое можно сказать и о приборах, используемых для приготовления пищи и уборки. Кроме того, люди оставляют после себя беспорядок, переставляют мебель и предпочитают разное освещение.

Как и многое другое, связанное с человекоподобными роботами, работа над Helix пока находится на очень ранней стадии. Анонс компании — это, по сути, инструмент рекрутинга, призванный привлечь к проекту новых инженеров, чтобы помочь его развитию.

Напомним, что компания Clone Robotics на днях продемонстрировала свой новый проект — робота-гуманоида Clone Alpha, имеющего скелетно-мышечный аппарат, способный имитировать движения человеческого тела. Это первый в мире робот, обладающий столь высокой степенью подвижности и адаптивности, что делает его перспективным помощником в быту.