Нейросеть от «Авито» стала лучшей среди легких ИИ-моделей на русском языке

Большая языковая модель A-Vibe от «Авито» заняла первое место среди облегченных моделей (до 10 млрд параметров) в независимом российском бенчмарке MERA. Ей удалось обойти международные аналоги от OpenAI, Google и Anthropic. Подробности — в распоряжении редакции «Инк.».

По оценке MERA, A-Vibe лучше аналогичных моделей понимает запросы, генерирует код и поддерживает осмысленный диалог. Технология применяется в сервисах «Авито». С ее помощью продавцы могут писать продающие описания и быстрее договариваться о сделке в мессенджере.

До конца года «Авито» планирует добавить еще 20 новых сценариев, а в будущем может открыть код модели для всех. По словам старшего директора по данным и аналитике компании Андрея Рыбинцева, сервис планирует вложить в GenAI около 12 млрд руб, а заработать более 21 млрд руб. к 2028 году.

A-Vibe обошла в сравнении такие модели, как GPT-4o mini, Gemma 3 27B, Claude 3.5 Haiku, Mistral Large и другие популярные небольшие нейросети. Тестирование включало задачи от базового понимания текста до продвинутых лингвистических задач, требующих глубокой работы с контекстом.

MERA предоставила некоторые результаты тестирования:

• генерация кода: на 25% лучше Gemini 1.5 с 8 млрд параметров;
• ведение диалога: на 32% точнее Llama 3.1 с 405 млрд параметров;
• способность анализировать смысл текста: на 23% точнее Claude 3.5 Haiku.

Для разработки генеративные модели A-Vibe и A-Vision, команда «Авито» использовала для обучения на начальном этапе открытую модель. Она обучалась на данных более чем 100 языков, при этом русский составлял менее 1% общего объема данных.

Разработчики модифицировали и «русифицировали» модель, заменив стандартный токенизатор на собственный, который умеет работать с русским языком. Благодаря такому решению они получили следующие преимущества:

• ускорение работы: модель обрабатывает русский текст быстрее до 2х раз по сравнению с оригинальной моделью;
• повышение качества: понимание и генерация текста на русском становятся значительно лучше.

Она также может одновременно обрабатывать до 32 тыс. текстовых фрагментов, что позволяет ей эффективно работать с объемными текстами.