Новая ИИ-модель соберет для вас модель LEGO по текстовому запросу

Исследователи из Университета Карнеги-Меллон разработали LegoGPT – искусственный интеллект, способный создавать сборные модели Lego на основе текстовых описаний. Система не только генерирует визуально точные модели, но и гарантирует их физическую реализуемость как людьми, так и роботами. LegoGPT основан на авторегрессионной языковой модели, которая предсказывает следующий кирпичик в конструкции аналогично тому, как текстовые модели предсказывают следующее слово в предложении.

Для обучения LegoGPT использовался специально созданный набор данных StableText2Lego, содержащий более 47 тысяч устойчивых конструкций Lego. Описания к каждой сборке были сгенерированы с помощью GPT-4o на основе 3D-рендеров. Во время генерации система проверяет каждое размещение кирпичика на предмет столкновений, недопустимых позиций и физической нестабильности.

При тестировании с другими системами 3D-генерации, такими как LLaMA-Mesh, XCube и Hunyuan3D-2, LegoGPT показал значительно высокий процент стабильных моделей – 98,8% против более низких показателей конкурентов.

LegoGPT также поддерживает добавление цветов и текстур к своим творениям. Например, диван с материалом под названием «японская ткань Сибори» получает структурированную индиго-поверхность, а цвет «огненный кибер-панк» светится неоновым фиолетовым цветом. Текстурирование выполняется с помощью FlashTex – быстрого метода нанесения текстур на 3D-модели. Помимо UV-текстур, система поддерживает сплошную окраску с использованием официальных цветов Lego.