Как искусственный интеллект изменил продукты Mail.ru Group

Спецпроект • 12 марта 2021

Как искусственный интеллект изменил продукты Mail.ru Group. И как развитие технологий усовершенствует привычные сервисы в будущем

Система искусственного интеллекта появляется, когда возникает задача, которую нельзя решить обычными способами. ИИ помогает корпорациям и стартапам анализировать большие данные, выявлять мошенничество, создавать беспилотные устройства, голосовые помощники, системы компьютерного зрения, а также автоматизировать маркетинг, логистику, управление бизнес-процессами и персоналом. Но хотя про ИИ уже давно все слышали, а разработки на его базе начали появляться в России ещё в нулевых, комплексно внедрять его в продукты на нескольких уровнях может только малый круг компаний — профучастников рынка. Узнали у директора по технологиям искусственного интеллекта Mail.ru Group Андрея Калинина, как ИИ пришёл в сервисы группы компаний ещё 15 с лишним лет назад и чего ждать от ИИ в будущем.

Как давно Mail.ru Group дружит с ИИ и зачем ей это нужно

Определимся с тем, что считать искусственным интеллектом. Автоматизирование — это уже зачатки ИИ, но это уже давно обыденность и мало кто именно так воспринимает подобные решения. Когда программист не пишет код, а обучает компьютер, — это уже машинное обучение. В разных проектах машинное обучение появляется в разное время. Так, поисковая система Mail.ru, которая работает с 2004 года, с самого появления использовала ИИ для ранжирования результатов поиска.

Ещё одно давнее применение ИИ — это Почта Mail.ru и её система антиспама. Сначала его делали вручную, на правилах и подборках подозрительных слов, потом стали собирать статистику, с каких IP-адресов приходят сомнительные письма, и блокировать их, далее научили компьютер анализировать тексты и самостоятельно искать подозрительные слова и словосочетания. Обучать ИИ помогали пользователи, отмечая нежелательные письма как спам. Более сложные и современные примеры машинного обучения — это рекламные технологии и умные ленты социальных сетей. Всё это есть в Mail.ru Group. К технологиям машинного обучения предъявляются новые и более сложные требования: по качеству, скорости реакции на изменившиеся условия работы (новый тип спама, тренды в соцсетях), анализируемому контенту (текст, картинки, видео).

В 2019 году Mail.ru Group вместе с другими крупнейшими российскими компаниями создала альянс в сфере искусственного интеллекта (AI-Russia Alliance). Его участники планируют объединить усилия в отдельных проектах, чтобы ускорить рост российского рынка ИИ.

Звучит сложно, но на практике это означает партнёрство крупнейших компаний из разных сфер — IT, финансов, коммуникаций и промышленности. Как результат — создание образовательных программ в области ИИ, упрощение нормативных барьеров, которые замедляют внедрение новых технологий, и совместное развитие рынка решений на основе ИИ. Ожидается, что объём российского рынка увеличится с 198,1 млрд руб. до 907,4 млрд руб. к 2024 году.

Откуда берутся данные для обучения ИИ

Есть разные способы разметки данных для обучения искусственного интеллекта.

Датасет создаётся с полным доступом к содержимому. Для этого в Mail.ru Group есть служба асессоров. Это несколько сотен человек, которые по инструкции выполняют задания разной степени сложности. Так, для улучшения работы поиска асессоры оценивают, насколько документы релевантны запросам пользователей. Или помогают обучать технологии компьютерного зрения, размечая на данных информацию о содержании текста, наличии объектов и их количестве. Например, на основе этой работы алгоритм компьютерного зрения Mail.ru Group научился расшифровывать номерные знаки автомобилей и определять, сколько человек прямо сейчас стоит в очереди.

Кроме асессоров, в разметке данных помогают группы из тысяч бета-тестеров и модераторов в социальных сетях, например «ВКонтакте» и «Одноклассниках». В том числе они обучали голосового ассистента Марусю включать музыку.

Главная загвоздка была в том, что российские пользователи произносили названия зарубежных исполнителей не так, как носители языка. Чтобы научить Марусю разбирать русский английский, в Mail.ru Group создали подборку из плейлистов и попросили бета-тестеров озвучить все названия.

Сбор датасета даёт разработчикам полный контроль над разметкой данных, но работа асессоров — это долго и дорого. Кроме того, иногда разметка данных невозможна, поскольку нельзя изучить содержание объектов, например в случае с почтой и письмами пользователей. Тогда используют информацию не о содержании объектов, а о реакции пользователей на него. При таком обучении ИИ весь процесс происходит скрыто от создателей. Например, для улучшения поиска собирают данные о том, на какие материалы кликают пользователи, и на основе этого предполагают, что эти документы лучше. Естественно, это не дает точный результат, поэтому финальные данные, прежде чем попасть к ИИ, фильтруются, чтобы исключать из них отвлекающий контент, например треш-контент и эротику. Кликстрим используют и для анализа нажатий на кнопку «Это спам», и для отслеживания реакции на систему рекомендаций соцсетей. Фактически, ИИ видит реакцию пользователей на него и учится её предсказывать.

Как ИИ делает продукты Mail.ru Group удобными для пользователей

ИИ есть практически во всех продуктах Mail.ru Group: алгоритмы предсказывают эффективность рекламных объявлений, автоматически модерируют оскорбительный и опасный контент, группируют письма, настраивают умную ленту в соцсетях, распознают лица и достопримечательности. Искусственный интеллект внедряют в продукты, когда новые задачи уже нельзя решить без него. Сервисы становятся удобнее для клиентов и помогают бизнесу улучшать показатели. Но иногда ИИ становится тем, благодаря чему работа продукта в принципе возможна.

Искусственный интеллект помогает создавать системы рекомендаций, которые подбирают интересный контент для пользователей. Так работает персонализированная реклама, стриминговые сервисы и не только. Точные попадания в аудиторию увеличивают выручку компаний, а пользователи получают удобный продукт и интересный контент, от которого не хочется отрываться. Mail.ru Group использовали систему рекомендаций в «Пульсе» — персонализированной ленте публикаций СМИ, которую собирает искусственный интеллект. ИИ обрабатывает материалы из 1,5 тыс. источников и при помощи машинного обучения подбирает самые интересные статьи. Для лучшего результата алгоритм анализирует поведение человека в соцсетях и других сайтах, популярность самих статей и взаимодействие пользователя с ними уже в «Пульсе». Поэтому сервис работает тем точнее, чем больше человек им пользуется, но даже для нового пользователя «Пульса» его лента, скорее всего, будет отвечать его вкусам.

Искусственный интеллект превращает Облако Mail.ru из обычного виртуального хранилища в умный инструмент, который помогает пользователю категоризировать и быстро находить нужные фото и видео. Для этого в Mail.ru Group с помощью глубоких свёрточных нейронных сетей создали систему умной обработки фотографий. Сначала снимок сжимается до размера 256*256 пикселей, для экономии времени на его обработку, а после нейронная сеть анализирует вероятность совпадения объекта на фото с данными, на которых она обучалось. Нейросеть для Облака обучали на размеченных данных. Сейчас она узнает больше 11 тыс. достопримечательностей в 503 городах с разных ракурсов.

Так же ИИ помогает развивать соцсети. «ВКонтакте» построили для «Клипов» собственную AR-платформу, которая, помимо множества масок, фонов с технологией 360° и специальных эффектов, включает в себя управление съёмки жестами. Это значительно упрощает процесс создания контента. А в «Одноклассниках» разработали сервис для автоматического создания персональных поздравительных видеороликов. Для этого ИИ находит самых близких друзей и родственников человека и добавляет их фотографии в ролик. Пользователю остаётся только нажать кнопку «опубликовать». Звучит просто, но внутри много сложных механизмов. Близких друзей находят алгоритмом Social Network Analysis, который анализирует взаимодействия аккаунтов с помощью моделей машинного обучения. Когда алгоритм выбрал 3—5 друзей, технология распознавания лиц подбирает лучшие фотографии, а свёрточные нейросети вырезают лица и переводят их в нужный для видео формат. После публикации ролика алгоритмы следят за тем, кому он понравился, чтобы улучшить ролик в следующий раз.

В 2020 году «ВКонтакте» запустили функцию распознавания речи — для тех, кого раздражают голосовые сообщения или просто нет возможности прослушать запись. Это самый высоконагруженный сервис по распознаванию речи на русском языке. Теперь стало легко посмотреть расшифровку аудио не нажимая на Play.

Под капотом — собственные разработки моделей машинного обучения команды «ВКонтакте»: быстрая акустическая модель, языковая модель, обученная на комментариях, модель автопунктуации и капитализации. Голосовые сообщения продолжают оставаться самым популярным типом вложений в мессенджере «ВКонтакте», обгоняя фотографии и файлы. С приходом распознавания голосовых сообщений ими стали пользоваться на 10% больше — сейчас это 33 млн человек в месяц. В среднем каждый пользователь сервиса читает восемь расшифровок в день.

Ещё одна технология соцсети — искусственный интеллект Долорес, которая помогает агентам Поддержки. Ежедневно пользователи присылают огромное количество вопросов — в том числе однотипных, на которые у сотрудников уходит много времени. Долорес обучилась на всех ответах, которые когда-либо давали агенты, и научилась писать их самостоятельно. Она генерирует несколько вариантов ответов, самый подходящий из которых агенты Поддержки направляют пользователю. В результате среднее время ответа на вопрос сократилось на 30%.

Сервис объявлений «Юла» с помощью ИИ упростил подачу объявлений и увеличил конверсию в публикации. Раньше пользователи заполняли много полей вручную, после чего информацию модерировали администраторы. Команда «Юлы» научила ИИ распознавать фотографии и автоматически заполнять поля с характеристиками. Кроме этого, технология рекомендует оптимальную стоимость и прогнозирует время продажи в зависимости от состояния и цены, которую выставили пользователи. Для этого искусственный интеллект использует алгоритм поиска ближайших похожих объявлений и модель исторических данных о продажах товаров. В результате пользователи стали тратить на подачу одного объявления на полторы минуты меньше времени, доля блокировок объявлений модераторами сократилась на 4%, а конверсия в публикацию выросла на 20%. Кроме этого, конверсию внутри сервиса увеличила и лента рекомендаций товаров, которые система предлагает пользователю.

Как искусственный интеллект помогает создавать и улучшать продукты Mail.ru Group

Искусственный интеллект не только улучшает показатели сервисов, но и делает их работу в принципе возможной. Если представить почту без антиспама, то в ней стало бы проблематично вести переписку из-за постоянного количества рекламных и мошеннических писем. ИИ в Почте Mail.ru за сутки отправляет в папку «Спам» от 10 до 20 млн писем, а ещё 300 млн сразу определяет как вредоносные и удаляет.

Фильтрацию писем усложняет постоянная адаптация спамеров к системам защиты, поэтому ML-система должна также постоянно эволюционировать. Чтобы развивать умные фильтры без усилий разработчиков, в Mail.ru Group используют систему Feedback Loop, которая обучает ИИ с помощью сигналов от пользователей и их действий.

Ещё один продукт, который получилось создать только благодаря ИИ, — колонка Капсула, которой легко и удобно управлять голосом. Она может прочитать новости, рассказать прогноз погоды, найти любую информацию в интернете, позвонить друзьям по громкой связи, найти ближайшие кафе, аптеки и магазины на карте, а также включить музыку, причём не только по названию трека, но и по описанию вроде «что-то веселое» или «песни о войне». Внутри Капсулы живёт голосовой помощник Маруся. Её обучение — это постоянное общение с пользователями, редакторами и прослушивание размеченных голосовых записей.

После получения голосового запроса Маруся переводит его в текст и с помощью диалоговых систем готовит ответ. Когда информация найдена, за естественную «человеческую» выдачу информации отвечают машинное обучение и нейронные сети.

Также ИИ улучшает показатели аудитории и вовлечённости ленты новостей в соцсетях примерно на 20%. Но хорошо работающий сервис важнее любых показателей. При создании ленты с системой рекомендаций возможно отсортировать все материалы по кликабельности и показывать топ. В этом случае проценты просмотров взлетят до небес, но большая часть материалов будет в жанре «шок-контент» и сервис быстро растеряет аудиторию. Чтобы этого избежать, весь сомнительный контент удаляют из выдачи, из-за чего основные показатели первое время проседают. По мере того как искусственный интеллект учится понимать пользователей, показатели вовлечённости сначала возвращаются на прежний уровень, а позже показывают рост на 20—30%, который постепенно замедляется из-за того, что время человека на соцсети ограничено.

Как ИИ сможет изменить сервисы компании в будущем

В будущем весь контент будет персонализирован. Это упростит сервисы и избавит их от привычных сегодня элементов, вроде добавления друзей и поиска интересных групп. Уже сегодня Mail.ru Group и другие IT-компании могут наполнять ленту интересными материалами сразу после регистрации, на основе того, что известно о пользователе.

Кроме этого, в каждом продукте — будь то Почта, «ВКонтакте», «Одноклассники» или лента новостей — будут персональные ассистенты, которые смогут находить нужную информацию в переписке, читать письма вслух и набирать ответы под диктовку. Голосовой интерфейс — это один из трендов ближайших лет. Уже сейчас в приложениях и сервисах так много функций, что графический интерфейс получается перегруженным. Решить это помогут ассистенты на основе искусственного интеллекта, когда высокочастотные функции можно будет привычно вызывать пальцем, а всё остальное — через диалоговое окно голосовыми и текстовыми командами.