ИИ сам научился добывать алмазы в Minecraft

Исследователи британской DeepMind создали ИИ, который сам научился добывать алмазы в игре Minecraft «с нуля». Новая система Dreamer, в отличие от конкурирующих алгоритмов, может «воображать» возможные результаты будущих действий.

Minecraft — одна из самых популярных видеоигр в мире со 100 млн активных пользователей ежемесячно. В игре нужно исследовать трехмерный виртуальный мир с различными ландшафтами: лесами, горами, пустынями и болотами. Важно отметить, что каждый раз при запуске игры генерируется новый случайный мир, что делает ее идеальной для тестирования способностей ИИ ориентироваться в новых условиях.

Добыча алмазов в Minecraft требует выполнения длинной цепочки сложных действий: надо найти деревья и заготовить древесину, создать верстак, изготовить деревянную кирку и так далее, пока не будут собраны правильные инструменты для добычи алмазов, скрытых глубоко под землей. Ранее ИИ могли выполнить эту задачу, полагались на видеозаписи игры человека или на прямые команды исследователей.

В отличие от прежних подходов Dreamer самостоятельно исследует игру, используя технику обучения с подкреплением. Алгоритм определяет действия, которые могут принести награду, повторяет их и отбрасывает остальные. Ключевым фактором успеха стало создание «модели мира», позволяющей ИИ «представлять» будущие сценарии и принимать решения, используя небольшое число вычислительных ресурсов.

По словам разработчиков, новая технология может помочь в создании роботов, способных взаимодействовать с реальным миром, где цена проб и ошибок гораздо выше, чем в видеоигре.