Как бизнесу внедрять языковые модели и почему их сложно создавать в России
Поделиться • 25 февраля 2025
Как бизнесу внедрять языковые модели и почему их сложно создавать в России
Как бизнесу внедрять языковые модели и почему их сложно создавать в России
Текстов: эксперты Open Talks Special
Фото: Taylor Vick/Unsplash
Если раньше главные прорывы в области ИИ были связаны с OpenAI, Google и Anthropic, то сегодня появляются новые игроки. Особенно популярны системы искусственного интеллекта с открытым кодом — они дают независимым разработчикам и бизнесу возможность использовать мощные языковые модели без зависимости от крупных корпораций. Русскоязычные LLM пока уступают разработкам гигантов, но и они уже помогают бизнесу решать локальные задачи. Какие перспективы у отечественных ИИ-систем и как бизнесу внедрять такие решения, «Инк.» узнал у российских ученых, предпринимателей и экспертов в этой области в рамках конференции Open Talks Special.
В отличие от англоязычных моделей, которые разрабатываются в крупных лабораториях, русскоязычные LLM создаются в более ограниченных условиях — часто энтузиастами без значительных инвестиций.
Проблема русского языка
Русский язык представлен в глобальных датасетах гораздо хуже, чем английский. Это усложняет адаптацию моделей и приводит к снижению качества генерации.
Илья Гусев,
старший ML-инженер в Booking.com, создатель русскоязычного LLM-помощника «Сайга», эксперт в генерации текстов и суммаризации данных
«Русскоязычные модели нужны, потому что есть аудитория в 300 млн русскоговорящих людей».
А использование англоязычных моделей на русском языке требует больших ресурсов из-за меньшей эффективности представления русского текста.
Михаил Тихомиров,
научный сотрудник НИВЦ МГУ, автор RuAdapt, специалист по адаптации мультиязычных LLM для русского языка
«На 20–60% дороже делать дальнейший претрейн или SFT-тюнинг на том же объеме данных. Это несправедливое допущение, которое мы пытаемся исправить через токенизацию».
Однако в отдельных задачах локальные модели уже не уступают мультиязычным аналогам. Вот эти популярные проекты показывают высокие результаты в обработке русскоязычного текста:
● «Сайга» — одна из самых скачиваемых русскоязычных LLM, разработанная старшим ML-инженером в Booking.com Ильей Гусевым;
● RuAdapt — проект научного сотрудника НИВЦ МГУ Михаила Тихомирова, улучшающий работу мультиязычных моделей с русским языком;
● «Вихрь» — семейство LLM от Александра Николича, автора Rudalle и Kandinsky;
● GigaChat — флагманская LLM от «Сбера», разрабатываемая Григорием Лелейтнером и Евгением Косыревым.
Александр Николич,
основатель Vikhr Models, один из авторов rudalle Kandinsky, разработчик семейства русскоязычных LLM «Вихрь»
«Технологии нашей разработки по большей части сопоставимы с западными. То есть претрейны „Сбера“ и „Яндекса“ сопоставимы с младшими версиями закрытых моделей и старшими версиями открытых моделей, созданных гигантами».
Что еще тормозит развитие
Вот главные сложности, с которыми сталкиваются разработчики русскоязычных моделей с открытым кодом.
- Недостаток финансирования. «Это некоммерческая история, которую спонсируют в основном энтузиасты», — утверждает Александр Николич. Инженеры хотят создавать модели, которые понимают русский язык, и им неважно, как именно будет устроен процесс разработки.
- Дефицит квалифицированных кадров. В нашей стране крайне мало экспертов в области ИИ, которые способны обучать других. «Вдруг однажды создадут общий искусственный интеллект, а в России никто не сможет это повторить, даже если выйдет статья о том, как его сделали. Вот это грустно», — поделился разработчик GigaChat Григорий Лелейтнер.
- Доступ к вычислительным мощностям. LLM тяжело исследовать, не имея огромного количества вычислительных ресурсов. «Хочется создать такой метод адаптации, который будет повышать вычислительную эффективность русскоязычных моделей без потерь в качестве. Это такой же must-have как, например, сейчас квантование (сжатие модели путем уменьшения битности вычислений — из типа данных, который может содержать больше информации, в тип, который содержит меньше. — Прим. ред.)», — говорит автор RuAdapt Михаил Тихомиров.
Павел Подкорытов
ооснователь AI Talent Hub и Napoleon IT, ведущий Open Talks Special
«Каждый третий запрос на рынке заказной разработки так или иначе касается внедрения LLM. При этом 80% хотят развернуть модели на своей инфраструктуре, а 20% готовы работать с публичными решениями. LLM-разработчикам нужно искать подходы, как удовлетворить потребности бизнеса, обеспечивая баланс между безопасностью, гибкостью и стоимостью».
Что можно сделать?
Вот задачи, которые российской ИИ-индустрии надо решить, чтобы выйти на международный уровень.
- Оптимизировать токенизацию. Токенизация — это преобразование активов и данных в цифровые единицы — токены. Стандартные токенизаторы плохо работают с русским языком, но грамотная инженерия способна компенсировать нехватку ресурсов.
- Создать русскоязычные датасеты. Команды RuAdapt и Vikhr Models уже работают над сбором и очисткой данных, но нужны государственные и корпоративные инициативы.
- Настраивать модели под конкретные задачи. Даже не самая мощная LLM может превзойти закрытые аналоги, если ее качественно дообучить. Вместо универсальных систем можно разрабатывать решения для бизнеса, науки и промышленности.
- Развить open-source-инфраструктуру. Чем больше открытых русскоязычных решений, тем меньше зависимость от западных платформ. Сотрудничество между командами ускорит развитие всей индустрии.
Инженерный потенциал
Модель Deepseek R-1 от китайской ИИ-лаборатории DeepSeek — одна из самых обсуждаемых open-source LLM 2024 года. Ее создатели смогли снизить стоимость обучения модели с нескольких млрд до $6 млн, а по качеству она приблизилась к коммерческим решениям.
Чат-бот попал на первое место рейтинга бесплатных приложений в Apple App Store США, Великобритании, Китая и других стран. Как утверждали СМИ, после этого обрушились акции многих технологических компаний, а капитализация NVIDIA снизилась почти на $600 млрд.
По мнению Ильи Гусева, снижение котировок не связано с DeepSeek — оно произошло неделей позже из-за торговых войн США и Китая. Также Илья считает неправдоподобной информацию о стоимости обучения: $5,5 млн потребовалось только на последний этап. По его оценке, с учетом всех экспериментов, версий модели и зарплат команды реальные затраты могли достигать $200 млн. «У них 199 авторов с зарплатой по $200–300 тыс. лишь за один продукт», — говорит эксперт.
Тем не менее DeepSeek продемонстрировал, что сильная команда специалистов способна совершить прорыв за два, года. Грамотные инженерные решения могут компенсировать нехватку вычислительных мощностей. Это меняет взгляд на будущее русскоязычного ИИ, где ключевую роль играет привлечение талантов.
Илья Гусев,
старший ML-инженер в Booking.com, создатель русскоязычного LLM-помощника «Сайга», эксперт в генерации текстов и суммаризации данных
«У DeepSeek очень хорошая инженерная команда. Они создали новый вид KV-cache (кэш, который хранит ключи и значения, сгенерированные предыдущими токенами. — Прим. ред.) и в целом Attention (механизм внимания — техника, которая позволяет моделям фокусироваться на наиболее значимых частях входных данных при составлении прогнозов. — Прим. ред.). Они интегрировали технологию Multi-token Prediction (архитектура, позволяющая модели предсказывать несколько слов одновременно, а не по одному за раз. — Прим. ред.), которая чуть-чуть ускоряет конечный инференс».
Тренды в ИИ на 2025 год
Ключевая цель разработчиков — сделать нейросети более быстрыми, компактными и автономными.
1. От больших моделей к эффективным решениям. Раньше компании стремились создать самые мощные LLM, но сейчас акцент смещается на оптимизацию и снижение вычислительных затрат.
2. Агентные ИИ-системы. Современные модели работают в рамках запросов, но в будущем они смогут самостоятельно выполнять задачи, анализировать данные и взаимодействовать с другими агентами. Западные компании уже тестируют такие технологии, и в ближайшие годы они могут появиться в коммерческих продуктах.
3. Мультимодальные модели. ИИ работает не только с текстами, но и с изображениями, видео и звуком. Мультимодальные LLM могут применяться в аналитике, образовании и бизнесе.
4. Open Source против закрытых моделей. Если раньше OpenAI и Google не имели серьезных open-source конкурентов, то теперь ситуация меняется. Раньше закрытые модели считались безусловными лидерами, но сегодня решения с открытым кодом быстро догоняют их по функционалу и качеству. Разрыв между ними сокращается, а в некоторых случаях открытые модели уже демонстрируют конкурентные преимущества.
Закрытые LLM остаются ограниченными в использовании. Компании, работающие с чувствительными данными, не могут контролировать внутренние процессы таких систем, что делает их зависимыми от провайдеров. В этом смысле open source становится альтернативой, позволяя настраивать и адаптировать модели под конкретные задачи бизнеса, обеспечивая полный контроль над данными и инфраструктурой.
Как внедрить LLM в бизнес
Внедрение языковых моделей — это не только технологический, но и стратегический вопрос. Компании должны учитывать стоимость, инфраструктурные требования и безопасность данных.
Наиболее распространенные сценарии использования LLM
● Автоматизация клиентского сервиса: чат-боты, голосовые помощники, техподдержка.
● Аналитика данных: генерация отчетов, обработка текстовых массивов.
● Создание контента: маркетинговые тексты, автоматизированные резюме, юридические документы.
● Оптимизация внутренних процессов: интеллектуальный поиск, автоматизированное обучение.
Илья Гусев,
старший ML-инженер в Booking.com, создатель русскоязычного LLM-помощника «Сайга», эксперт в генерации текстов и суммаризации данных
«У компаний есть задачи и какое-то видение, как эти задачи должны быть решены. Они могут создать свою метрику, которая будет измерять, насколько хорошо языковые модели справляются. Дальше нужно взять несколько моделей, прогнать их через свою метрику и выбрать ту, которая лучше всех себя показала».
Компании могут выбрать один из три подходов:
1. Облачные API закрытых моделей (GPT-4, Claude, Gemini).
✔ Высокое качество, надежность.
✖ Отсутствие контроля, высокая стоимость.
2. LLM с открытым кодом (Mistral, LLaMA, DeepSeek, Vikhr).
✔ Гибкость, возможность локального развертывания.
✖ Требует мощностей и специалистов для настройки.
3. Комбинированный подход.
✔ Использование API для сложных задач и open source для внутренних процессов.
Где развернуть модель
● Облачные сервисы (AWS, Yandex Cloud, VK Cloud). Быстрый запуск, но есть риски утечки данных.
● Собственные серверы. Дают полный контроль, но требуют больших инвестиций.
● Гибридные решения. Позволяют балансировать нагрузку между облаком и локальными мощностями.
Снизить затраты поможет:
● оптимизация запросов. Чем короче промпт, тем меньше вычислений;
● квантование моделей уменьшит требования к «железу»;
● использование узкопрофильных LLM. Не всегда нужна универсальная модель;
● анализ Return On Investment (ROI) — коэффициента рентабельности инвестиций. Оценка, действительно ли ИИ снижает расходы.
А вот главные ошибки при внедрении ИИ:
● ожидание мгновенного результата без адаптации модели;
● отсутствие стратегии внедрения;
● игнорирование вопросов безопасности.
Закрытые LLM остаются ограниченными в использовании. Компании, работающие с чувствительными данными, не могут контролировать внутренние процессы таких систем, что делает их зависимыми от провайдеров. В этом смысле open source становится альтернативой, позволяя настраивать и адаптировать модели под конкретные задачи бизнеса, обеспечивая полный контроль над данными и инфраструктурой.
В материале также принимал участие сооснователь AI Talent Hub и Napoleon IT, ведущий Open Talks Special Павел Подкорытов.
