Сайты российских брокеров столкнулись с наплывом ИИ-скраперов
Число запросов от ИИ-ботов к сайтам российских брокеров за три месяца выросло примерно на треть — с 6 млн в июне до 8 млн в августе. Особенно резко увеличилась активность скраперов, которые массово собирают контент с сайтов. Их доля во всем ИИ-трафике выросла с 7% почти до 69%, рассказал заместитель генерального директора Servicepipe Даниил Щербаков.
Скраперы массово обходят страницы сайтов и извлекают оттуда тексты, таблицы и другие опубликованные данные. Если в июне они отправили брокерам около 420 000 запросов, то в августе — уже 5,5 млн, то есть примерно в 13 раз больше. Собранный таким образом контент может использоваться для формирования датасетов и обучения ИИ-моделей.
Больше половины всех запросов скраперов в августе пришлось на бота Meta* — свыше 3 млн. На втором месте оказался ClaudeBot компании Anthropic с более чем 1,5 млн запросов. Далее следовали GPTBot от OpenAI, Bytespider от ByteDance и TikTokSpider, на которые вместе пришлось около 16% обращений.
По словам Щербакова, скраперы собирают на сайтах брокеров новости, аналитику, экспертные материалы и описания финансовых продуктов. Высокую активность бота Meta* он связывает с подготовкой новых моделей Llama. Отдельно сайты могут управлять использованием собранного Google контента через Google-Extended, в том числе запрещая его применение для обучения будущих моделей Gemini. CCBot при этом собирает данные для открытого веб-архива Common Crawl, а AI2Bot — для проектов Allen Institute for AI.
На фоне роста скрапинга активность двух других типов ИИ-ботов, наоборот, снизилась. Ассистенты, которые открывают конкретную страницу в ответ на запрос пользователя, сократили число обращений примерно с 2 млн в июне до 700 000 в августе, а их доля упала с 33% до менее 9%. Поисковые краулеры, регулярно обходящие сайты для создания и обновления индекса, за тот же период уменьшили число запросов с 3,6 млн до 1,8 млн, а их доля — с 60% примерно до 22%.
Интерес ИИ-ботов к брокерским сайтам эксперты объясняют большим объемом хорошо структурированной и регулярно обновляемой информации. На них одновременно доступны тарифы, условия торговли, описания финансовых инструментов, новости и аналитика. Такие данные позволяют улучшать работу моделей с русскоязычной финансовой терминологией и спецификой российского рынка, отмечают руководитель проекта ZipLime в «Финаме» Вячеслав Арбузов и директор департамента информационной безопасности «Цифра брокера» Сергей Зорин.
При этом не все данные с брокерских сайтов одинаково полезны именно для обучения модели. Тарифы, комиссии и котировки быстро меняются, поэтому такую информацию эффективнее подтягивать из внешних источников уже во время ответа пользователю — например, с помощью RAG, считает технический директор Veai Владислав Кудинов. Гораздо дольше сохраняют ценность финансовая терминология, методологии, описания продуктов и аналитические материалы, добавляет заведующий кафедрой искусственного интеллекта Финансового университета Михаил Коротеев.
Брокеры уже могут ограничивать массовый сбор данных — задавать отдельные правила для разных ботов, вводить лимиты запросов и блокировать нежелательных скраперов. Но полностью закрываться от ИИ эксперты не советуют. По мере развития ИИ-агентов такие системы смогут приходить на сайты уже по поручению клиентов, искать нужную информацию и выполнять действия от их имени. Поэтому для бизнеса задача сводится не к блокировке всего ИИ-трафика, а к тому, чтобы отличать массовый сбор контента от полезных обращений в интересах пользователя.
* организация признана экстремистской и запрещена в России
Подпишитесь на «Инк» в Telegram. Там мы пишем нескучным языком о самом важном для предпринимателей. Подписаться.
