ИИ начал учиться в 100 раз быстрее, не тратя энергию

ИИ потребляет больше энергии, чем когда-либо, а центры обработки данных с трудом справляются с потребностями. Прорывной метод обучения может изменить все, сократив потребление энергии, сохранив точность.

Перейдя от традиционного итеративного обучения к подходу, основанному на вероятности, исследователи нашли способ оптимизировать нейронные сети с гораздо меньшими вычислениями. Это нововведение, вдохновленное динамическими системами, встречающимися в природе, имеет потенциал сделать ИИ намного более экологичным — без ущерба для производительности.

Технологии искусственного интеллекта, включая большие языковые модели (LLM), стали неотъемлемой частью повседневной жизни. Однако вычислительная мощность, необходимая для их поддержки, поступает из центров обработки данных, потребляющих огромное количество энергии. Только в Германии центры обработки данных использовали около 16 млрд киловатт-часов (кВт·ч) электроэнергии в 2020 году — около 1% от общего потребления энергии в стране. К 2025 году эта цифра, по прогнозам, вырастет до 22 млрд кВт·ч.

По мере усложнения приложений ИИ их энергетические потребности будут продолжать расти, особенно для обучения нейронных сетей, требующих огромных вычислительных ресурсов. Чтобы решить эту проблему, исследователи разработали новый метод обучения, который в 100 раз быстрее традиционных подходов, сохраняя при этом тот же уровень точности. Этот прорыв может значительно снизить энергию, необходимую для обучения ИИ.

Нейронные сети, которые обеспечивают выполнение задач ИИ, таких как распознавание изображений и обработка языка, смоделированы по образцу человеческого мозга. Они состоят из взаимосвязанных узлов или искусственных нейронов, которые обрабатывают информацию, присваивая весовые значения входным сигналам. При достижении определенного порога сигнал передается на следующий уровень узлов.

Обучение этих сетей требует больших вычислительных затрат. Первоначально значения параметров назначаются случайным образом, часто с использованием нормального распределения. Затем система многократно корректирует эти значения в течение многих итераций, чтобы повысить точность прогнозирования. Из-за большого количества задействованных вычислений обучение нейронных сетей потребляет значительное количество электроэнергии.

Феликс Дитрих, профессор машинного обучения с физикой, и его команда разработали новый метод. Вместо итеративного определения параметров между узлами, их подход использует вероятности. Их метод основан на целевом использовании значений в критических местах обучающих данных, где происходят большие и быстрые изменения значений.

«Наш метод позволяет определять требуемые параметры с минимальными вычислительными затратами. Это может сделать обучение нейронных сетей намного более быстрым и, как следствие, более энергоэффективным, — говорит Феликс Дитрих. — Кроме того, мы увидели, что точность нового метода сопоставима с точностью итеративно обученных сетей».

Согласно новому исследованию, поиск Google продемонстрировал впечатляющий рост на более чем 20% в 2024 году несмотря на опасения по поводу ухода трафика в инструменты искусственного интеллекта (ИИ). За прошлый год американский техногигант обработал примерно в 370 раз больше поисковых запросов, чем ChatGPT, или 14 млрд ежедневно.