Российские ученые придумали, как ускорить обучение нейросетей
Специалисты Центра практического искусственного интеллекта Сбербанка и Московского физико-технического института (МФТИ) предложили новый подход к оптимизации распределенного обучения нейросетевых моделей, что позволит снизить нагрузку на вычислительные ресурсы. Подробности — в распоряжении «Инка».
Авторы исследования отмечают, что современных условиях модели ИИ обрабатывают огромные массивы данных с миллиардами параметров, что делает актуальным распределенное обучение на тысячах устройств для ускорения процесса. Однако значительная доля времени уходит на обмен информацией между машинами, и неэффективная организация коммуникаций может замедлить обучение по сравнению с централизованным подходом.
Предложенный метод фокусируется на использовании гомогенности (однородности) локальных выборок данных и сжатии передаваемой информации, что уменьшает частоту синхронизации устройств и объем передаваемых данных без ущерба для качества модели. Это особенно полезно в сценариях с ограниченной пропускной способностью сетей и высокими задержками, где традиционные методы теряют эффективность.
Метод применим в финансовой, телекоммуникационной и промышленной отраслях, где распределенное обучение помогает сократить затраты на ресурсы и ускорить внедрение ИИ. В перспективе такие алгоритмы способствуют более динамичному развитию технологий искусственного интеллекта в целом.
Директор Центра практического искусственного интеллекта Сбербанка Глеб Гусев отметил, что комбинация гомогенности данных с техниками сжатия позволяет реже обмениваться информацией между сервером и устройствами, что не только ускоряет процесс, но и снижает энергозатраты, открывая возможности для масштабирования ИИ в крупных системах.
Цель работы — объединить ускорение, сжатие и учет похожести данных в алгоритм с теоретическими гарантиями, пояснил кандидат физико-математических наук, доцент кафедры МОУ и директор Исследовательского центра агентных систем искусственного интеллекта МФТИ Александр Безносиков
Разработка, представленная в исследовании «Ускоренные методы со сжатыми коммуникациями для гомогенных задач распределённой оптимизации», принята на международную конференцию AAAI’25 Ассоциации по развитию искусственного интеллекта.
