Yandex B2B Tech предоставила клиентам новую возможность дообучения нейросетей методом LoRA (Low-Rank Adaptation). Теперь компании смогут быстро и самостоятельно адаптировать их под специализированные задачи, такие как написание писем в корпоративном стиле или извлечение важных данных из документов. При этом стоимость такой модели не превысит цену базовых версий нейросетей. Подробности — в распоряжении редакции «Инк.».

На данный момент методом LoRA уже можно дообучить нейросеть YandexGPT и опенсорсную модель LLaMA. Вскоре это станет возможно и для моделей, которые можно запустить по запросу на выделенных мощностях, например, Qwen и DeepSeek.

Таким образом бизнес сможет использовать в своих решениях несколько таких нейросетей, легко переключаться между ними и комбинировать их для разных сценариев.

Эксперты заявляют, что дообучение модели позволяет повысить качество решения конкретных задач. Так, после кастомизации нейросети лучше суммаризируют и точнее классифицируют тексты, точнее следуют заданному формату ответа и придерживаются определенной роли в диалоге.

Качество ответов по этим задачам, даже на облегченных моделях, может быть выше, чем у мощных версий нейросетей. Дообучение особенно актуально, когда требования к ответу трудно сформулировать в кратком и понятном виде.

Быстрая скорость работы LoRА достигается за счет изменения небольшого количества параметров. Алгоритм ориентируется на эталонные запросы и ответы, заранее заданные пользователем, и приближает результаты к образцам из датасета. При обработке небольших датасетов весь процесс может занять всего 10 минут.

CPO Yandex Cloud Григорий Атрепьев отметил, что алгоритм LoRA уже признан одним из наиболее эффективных способов дообучения, и широко используется для кастомизации моделей среди ML-разработчиков, в том числе в «Яндексе».

Дообучение моделей особенно актуально для среднего и крупного бизнеса для оптимизации наиболее частотных задач, которые решаются с помощью нейросетей.

В рамках технического тестирования, LoRA уже попробовали более 100 клиентов. Они использовали ее для разработки Telegram-ботов для ретейла, классификации запросов в поддержку, генерации рекламного контента и других задач.

В частности, компания Presentsimple.ai использует для автоматической генерации презентаций по запросу клиента модель YandexGPT 4 Lite, дообученную с помощью LoRA на результатах работы Pro-версии.

По оценке компании, стоимость генерации презентаций снизилась в шесть раз, а благодаря высокой скорости модели они смогли создавать серии объемных слайдов для клиентов за 30-40 секунд. Дообученная модель лучше придерживалась заданного технического задания по количеству символов, предложений и стилистике.

Напомним, что в прошлом году «Яндекс» представил новое поколение нейросетей YandexGPT 4, которые могут обрабатывать около 60 страниц текста и поддерживают функцию chain-of-thought. Теперь доля ошибок и выдуманных фактов сократилась с 4% до 2,1%.