Cloudflare придумала инструмент для защиты от ботов, собирающих информацию для обучения ИИ

Компания Cloudflare, известная своими услугами веб-инфраструктуры и безопасности, представила новую функцию под названием AI Labyrinth. Эта технология направлена на борьбу с несанкционированным сбором данных компаниями, боты которых сканируют веб-сайты без разрешения их владельцев и обучают на полученной информации большие языковые модели, такие как ChatGPT.

Вместо простой блокировки ботов система Cloudflare заманивает их в «лабиринт» реалистично выглядящих, но не имеющих отношения к делу страниц, тем самым растрачивая вычислительные ресурсы сканера. Это отличается от стандартной стратегии блокировки, используемой большинством служб защиты веб-сайтов. Cloudflare отмечает, что простая блокировка иногда дает обратный эффект, предупреждая операторов сканера о том, что их обнаружили.

Содержимое, предлагаемое ботам, намеренно не связано со сканируемым сайтом, но создается с использованием реальных научных фактов о биологии, физике или математике, чтобы избежать распространения дезинформации. Страницы-ловушки и ссылки остаются невидимыми для обычных посетителей, поэтому люди не могут случайно столкнуться с ними при просмотре.

По данным Cloudflare, ИИ-сканеры генерируют более 50 млрд запросов к их сети ежедневно, что составляет почти 1% всего обрабатываемого компанией веб-трафика. Многие из этих сканеров собирают данные веб-сайтов для обучения ИИ-моделей без разрешения владельцев страниц.

Функция AI Labyrinth доступна клиентам любого тарифного плана Cloudflare, включая бесплатный, и может быть активирована одним переключателем в настройках панели управления. Компания описывает это как первый шаг в использовании ИИ для защиты от ботов и планирует в будущем усложнить обнаружение поддельного контента и более органично интегрировать фальшивые страницы в структуры веб-сайтов.