Новый метод ускорит обучение генеративных моделей ИИ до 10 раз

Ученые из Института AIRI и Сколтеха предложили новый подход к решению широкого спектра сложных вычислительных задач. Этот метод основан на концепции Оптимального Транспорта (ОТ), которая широко используется в машинном обучении и математическом моделировании. Он позволит ускорить обучение моделей от 3 до 10 раз. Подробности — в распоряжении редакции Inc.

На сегодняшний день методы оптимального транспорта все чаще используются при обучении генеративных моделей для синтеза искусственных данных, например, изображений или текстов. Еще одна значимая область применения — адаптация моделей к данным из новых источников. Это особенно актуально в медицине, где работа часто связана с небольшими и разрозненными выборками.

Однако существующие методы решения задач ОТ при помощи нейросетей сталкиваются с рядом проблем, таких как высокая нестабильность обучения и необходимость сложных промежуточных преобразований.

Предложенный учеными метод был реализован на фреймворке JAX и получил название ENOT. Его ключевым преимуществом стало внедрение энтропийной регуляризации. Это позволило достичь значительного ускорения вычислений — от 3 до 10 раз, а также улучшения целевых метрик качества работы моделей.

Первоначально эксперименты проводились на двумерных данных. Позднее метод был протестирован на задачах генерации изображений, переносе стиля и реконструкции трехмерных объектов, что подтвердило его универсальность.

Руководитель группы «Обучение Представлений» лаборатории «Сильный ИИ в медицине» Института AIRI Назар Бузун заявил, что предложенный метод является самым быстрым и точным на сегодняшний день. Что касается практического применения, то задачи оптимального транспорта мультидисциплинарны, поэтому он может применяться в самых разных областях.

«В частности, мы применяли его для обучения имитации — когда эксперт показывает определенные действия, агент пытается имитировать поведение, и система оценивает, насколько действия агента похожи на действия эксперта. Примером может служить урок танцев, когда преподаватель показывает движение, а ученик пытается его повторить», — пояснил Бузун.

Метод быстро нашел отклик в научном сообществе. Исследователи представят разработку в Ванкувере в ходе NeurIPS 2024, одной из крупнейших мировых ИИ-конференций.

Напомним, что в России планируется создать и внедрить первую версию ПО, которая будет проверять модели искусственного интеллекта, обучающиеся на государственных данных, на предмет угрозы национальной безопасности и обороны страны. Это необходимо для исключения ошибок, которые могут привести к неверным рекомендациям при принятии стратегических государственных решений.