Не только умнее, но и дешевле. На ICML показали, как ускорить обучение ИИ и снизить затраты
«Яндекс» представил на международной конференции по машинному обучению ICML в Южной Корее результаты серии исследований об ускорении обучения генеративного ИИ и более эффективном использовании вычислительных ресурсов. На первый взгляд это тема для инженеров и научных команд, но на практике она важна и для бизнеса, который пытается снизить стоимость разработки и эксплуатации ИИ-сервисов. Особенно сейчас, когда дефицитными становятся не только данные и специалисты, но и сами вычисления.
ICML — одна из крупнейших мировых конференций по машинному обучению. В 2026 году в ее основную программу приняли 6352 работы из 23 918 заявок, то есть около 26,6%. «Яндекс» представил там несколько исследований о том, как ускорять обучение моделей, снижать нагрузку на память видеокарт и тратить меньше ресурсов при работе с большими данными.
Самая прикладная для бизнеса часть исследований связана с эффективностью вычислений. В одной из работ о графовых нейросетях, которые анализируют не только сами объекты, но и связи между ними, команда «Яндекса» разработала модули для экономии памяти видеокарт и ускорения расчетов. Такие модели могут использоваться, например, в рекомендациях, поиске, анализе документов и дорожных сетей. В экспериментах, по данным компании, отдельные операции удалось ускорить в 3,9−10 раз, общее выполнение — до 8,5 раза, а пиковое потребление памяти сократить до 76 раз. Код модулей уже можно найти в открытом доступ.
В другом исследовании компания разбирает, как ускорить обучение больших языковых моделей при так называемом конвейерном параллелизме — когда обучение одной модели распределяется между несколькими устройствами. Обычно в такой схеме часть видеокарт периодически простаивает, ожидая другие, а это прямые потери времени и денег. Исследователи утверждают, что нашли способ уменьшить эти простои без потери качества модели: на MoE-моделях размером 10 млрд параметров, обученных на 200 млрд токенов, асинхронный подход показал качество, идентичное синхронному обучению.
Еще одна работа посвящена алгоритмам оптимизации, то есть тому, как модель обновляет свои параметры во время обучения. Исследователи предложили два новых метода — SoftSignum и SoftMuon — и заявляют, что в экспериментах они стабильно обошли несколько распространенных подходов, включая AdamW, который сегодня широко используется при обучении больших моделей.
Поскольку обучение и запуск ИИ становятся все дороже, любая экономия памяти, серверного времени и пропускной способности постепенно превращается в конкурентное преимущество. В июне OpenAI вместе с Broadcom представила ИИ-ускоритель Jalapeno, который, по словам представителей компаний, позволяет примерно вдвое сократить вычислительные затраты на запуск моделей по сравнению с традиционными GPU. Так рынок все сильнее смещается от гонки за «сообразительность» моделей к соревнованию за удешевление ИИ в эксплуатации.
Похожую задачу в прошлом году решали и исследователи из Сбербанка и МФТИ. Они предложили способ ускорять распределенное обучение нейросетей за счет сжатия передаваемой информации и более редкой синхронизации устройств, что должно снижать нагрузку на вычислительную инфраструктуру и ускорять обучение без потери качества модели. Такой подход они называли особенно полезным для сценариев, где ограничена пропускная способность сетей и дорого обходится обмен данными между машинами.
Такие технологии могут быть особенно актуальны для компаний, которые строят собственные рекомендательные системы, ИИ-поиск, чат-ассистентов или отраслевые модели для документооборота, клиентской поддержки, логистики и продаж.
Что это значит для бизнеса
До сих пор главными ограничениями при внедрении ИИ считались данные, качество моделей и доступ к видеокартам. Теперь не менее важным становится вопрос, насколько эффективно компания использует уже купленные или арендованные вычислительные мощности.
Для крупного бизнеса это означает шанс дешевле обучать и обслуживать собственные ИИ-системы. Для среднего — сигнал, что в ближайшие годы преимущество получат не только разработчики самых сильных моделей, но и те, кто научится запускать их без постоянного обновления серверов и закупки новых GPU.
Подпишитесь на «Инк» в Telegram. Там мы пишем нескучным языком о самом важном для предпринимателей. Подписаться.
