В Массачусетском институте придумали ИИ-технологию «Тюлень», который может обучать сам себя

Исследователи Массачусетского технологического института (MIT) представили обновленную версию технологии SEAL 2.0 (Self-Editing Adaptive Language models) — системы, позволяющей крупным языковым моделям (LLM) самостоятельно дообучаться и корректировать собственные ошибки без участия человека.

Обновленная версия SEAL обучает модели через механизм «саморедактирования» (self-edit): нейросеть генерирует инструкции по изменению своих параметров, создает на их основе синтетические данные и дообучает себя на этих примерах.

Архитектура SEAL включает два уровня:

• внутренний цикл — выполняет саморедактирование и проверку новых знаний;

• внешний цикл — подбирает стратегию, чтобы модель не теряла старые знания.

Результаты получились впечатляющие: точность ответов выросла с 33,5% до 47%, а на задачах с ограниченным числом примеров — до 72,5%, что почти в четыре раза выше базового уровня.

Разработчики признают, что технология пока требует высокой вычислительной мощности — каждое саморедактирование занимает десятки секунд. Кроме того, модели подвержены эффекту «катастрофического забывания», когда новые данные могут вытеснять старые.

Тем не менее эксперты называют SEAL важным шагом к созданию автономных ИИ-агентов, способных обучаться в реальном времени и адаптироваться к новым задачам без ручного вмешательства.

«Это можно сравнить с тем, как человек учится на своих ошибках — только в цифровом виде», — отметил один из участников проекта, исследователь MIT Джаянт Опари.

Появление SEAL 2.0 может стать точкой перелома для индустрии ИИ, где большинство моделей сегодня обучаются статически — на фиксированных наборах данных.