Cloudflare сделала торговую площадку, которая позволит сайтам взимать плату с ботов ИИ за сбор данных
Компания Cloudflare объявила о планах запустить торговую площадку, на которой владельцы сайтов смогут продавать поставщикам моделей ИИ доступ к скрапингу (сбору данных — прим. ред.) контента своего сайта. Создание рынка является последним шагом в реализации более масштабного плана генерального директора Cloudflare Мэтью Принса по предоставлению издателям большего контроля над тем, как и когда боты ИИ скрапируют их сайты, сообщает TechCrunch.
«Если вы не компенсируете создателей тем или иным способом, то они перестают творить, и именно эту проблему нужно решить», — сказал Принс в интервью. В качестве первого шага в рамках нового плана Cloudflare запустила бесплатные инструменты наблюдения для клиентов под названием AI Audit. Владельцы сайтов получат приборную панель для просмотра аналитики о том, почему, когда и как часто модели ИИ просматривают их сайты в поисках информации.
Cloudflare также позволит клиентам блокировать ботов ИИ на своих сайтах одним нажатием кнопки. Владельцы сайтов могут блокировать все веб-скреперы с помощью AI Audit или пропускать определенные веб-скраперы, если у них есть сделки или если они считают, что их скрапинг выгоден.
Демонстрация AI Audit показала, как владельцы сайтов могут использовать этот инструмент, который способен увидеть, откуда приходит каждый скрапер, посещающий ваш сайт, и предлагает выборочные окна, чтобы увидеть, сколько раз скраперы из OpenAI, Meta* (запрещена на территории РФ), Amazon и других поставщиков моделей ИИ посещают ваш сайт.
Cloudflare пытается решить проблему, нависшую над индустрией ИИ. Как небольшие издательства смогут выжить в эпоху ИИ, если вместо их сайта люди будут заходить на ChatGPT. Сегодня поставщики моделей ИИ перебирают тысячи мелких сайтов в поисках информации, которая используется в их LLM. Хотя некоторые крупные издатели заключили сделки с OpenAI на лицензирование контента, большинство сайтов ничего не получают, но их контент все равно ежедневно попадает в популярные модели ИИ. Это может разрушить бизнес-модели многих сайтов, сократив трафик, в котором они так нуждаются.
Ранее поисковый стартап Perplexity, работающий на основе ИИ, был обвинен в том, что с помощью протокола исключения роботов он собирал сайты, которые намеренно указывали на то, что не хотят, чтобы их просматривали. Вскоре после этого Cloudflare выпустила кнопку, чтобы клиенты могли блокировать всех ботов с ИИ одним щелчком мыши.
«Это было вызвано разочарованием, которое мы испытывали, когда люди чувствовали, что их контент крадут», — сказал Принс.
Некоторые владельцы сайтов рассказали изданию Business Insider, что боты ИИ так сильно скрапируют их сайты, что это похоже на DDoS-атаку, которая разрушает их серверы. То, что сайт скрапирует, может не только расстроить, но и буквально повысить счет за облачные услуги и повлиять на работу сервиса.
Но что, если есть желание заблокировать ботов Perplexity, но не OpenAI, например. Принс рассказал, что клиенты Cloudflare запрашивают инструменты, которые позволят им выбирать, какие модели ИИ будут иметь доступ к их сайтам. Новые инструменты Cloudflare позволят клиентам блокировать одни ИИ-краулеры и пропускать другие.
По словам Принса, даже крупные издательства, заключившие лицензионные соглашения с OpenAI, такие как TIME, Condé Nast и The Atlantic, имеют относительно мало информации о том, сколько ChatGPT скрапирует их сайты. Однако торговая площадка Cloudflare, которая будет запущена в следующем году, призвана позволить небольшим издателям заключать сделки с поставщиками моделей ИИ.
«Давайте дадим всем вам возможность делать то, что раньше делали только Reddit, Quora и крупные издатели мира, — сказал Принс. — Что, если мы позволим вам устанавливать цену за доступ к вашему контенту и за то, что он попадает в эти системы».
Хотя это смелая идея, Cloudflare пока не делится полностью проработанным представлением о том, как будет выглядеть ее рынок. Принс говорит, что веб-сайты могут взимать плату с поставщиков моделей ИИ в зависимости от скорости, с которой они скрапируют отдельные веб-сайты, но неясно, сколько они будут платить на самом деле. Кроме того, по его словам, веб-сайты могут взимать денежную цену за то, что их скрапируют, или просто просить лаборатории ИИ предоставить им кредит.
Хотя компании, занимающиеся разработкой ИИ, могут быть не в восторге от необходимости платить за контент, который они сейчас получают бесплатно, генеральный директор Cloudflare говорит, что в конечном итоге это будет полезно для экосистемы ИИ. По словам Принса, нынешняя ситуация, когда некоторые ИИ-компании вообще не платят за контент, не является устойчивой.
Ранее сообщалось, что индийский режиссер Рам Гопал Варма отказался от музыкантов в пользу искусственного интеллекта, заявляя, что в будущих проектах он будет использовать только мелодии, созданные ИИ.
