Компания Cloudflare по умолчанию будет блокировать ИИ-краулеры, которые пытаются получить доступ к контенту без явного согласия владельца сайта. При регистрации нового домена клиентам Cloudflare будет предложено активировать эту защиту. Это дает создателям контента контроль над тем, кто и как использует их работу.
Freepik
Компании, разрабатывающие искусственный интеллект, массово сканируют веб-сайты и собирают контент из них для обучения своих моделей. Они делают это без разрешения и какой-либо компенсации владельцам контента. Это обесценивает оригинальные материалы и подрывает бизнес-модели изданий и других платформ.
Статистика показывает серьезность проблемы. Десять лет назад соотношение просканированных ботами Google страниц к числу посетителей сайта составляло 2 к 1, а сегодня это соотношение составляет 18 к 1. В случае с ИИ-моделями цифры еще более тревожные: до 60 тыс. отсканированных страниц на одного полученного посетителя. Такая ситуация ставит под угрозу существование сайтов, лишая их трафика и доходов.
Cloudflare не просто блокирует доступ ботов, но и предлагает новые механизмы взаимодействия. Компания разрабатывает протокол для стандартизированной идентификации ИИ-ботов. Также запущен частный бета-тест платформы Pay Per Crawl. Потенциально этот механизм может стать новым источником дохода для издателей, которые смогут устанавливать плату за сканирование своих страниц. ИИ-компании смогут решать, готовы ли они платить за доступ к качественному контенту.
Инициативу Cloudflare уже поддержали крупнейшие медиакомпании и платформы. Среди них Condé Nast, Reddit, USA TODAY Network, Pinterest и BuzzFeed. Они видят в этом шаге возможность установить справедливые отношения с разработчиками ИИ. Для Cloudflare это способ укрепить свои позиции на рынке и показать себя защитником интересов создателей контента, от которых зависит здоровье всей сети.