Исследователи из MIT составили «периодическую систему» алгоритмов обучения ИИ

Исследователи из Массачусетского технологического института разработали «периодическую таблицу машинного обучения», объединяющую более 20 классических алгоритмов обучения моделей и показывающую связи между ними. Новая структура, названная I-Con (информационное контрастное обучение), базируется на ключевой идее: все алгоритмы тренировки нейросетей создают взаимосвязи между точками данных, а их основная математика идентична, несмотря на разные подходы.

Команда исследователей выявила единое уравнение, лежащее в основе многих классических алгоритмов ИИ. С его помощью они переформулировали популярные методы и организовали их в таблицу.

Подобно периодической таблице химических элементов, эта система имеет пустые места, предсказывающие существование еще не открытых алгоритмов.

Исследователи уже продемонстрировали практическую пользу своего открытия, заполнив один из пробелов в таблице. Объединив идеи из контрастного обучения и применив их к кластеризации изображений, они создали новый алгоритм, который классифицирует изображения на 8% лучше передовых современных подходов.

Также они показали, как техника устранения предвзятости данных, разработанная для контрастного обучения, может повысить точность алгоритмов кластеризации.

«Мы показали, что всего одно очень элегантное уравнение, основанное на теоретической информатике, дает богатые алгоритмы, охватывающие 100 лет исследований в области машинного обучения. Это открывает множество новых путей для открытий», — отмечает Марк Гамильтон, один из авторов исследования и старший инженер в Microsoft.