CloudFlare предоставляет владельцам веб -сайтов возможность взимать скидные боты для соскоба
2 июля 2025 г.CloudflareзапустилЧастная бета -функция под названием Pay Per Crawl, единственная цель которого состоит в том, чтобы позволить владельцу веб -сайта взимать с AI Crawler фиксированную плату каждый раз, когда Crawler запрашивает страницу. Функция рассматривает общий разрыв в эксплуатации: в настоящее время издатель может либо оставить весь контент открытым для автоматизированной коллекции или блокировки, и любые платные договоренности должны быть согласованы вручную.
В Belitsoft, компании по разработке программного обеспечения для медиа -фирм и эксперта по интеграциям CloudFlare, мы уже изучили юридические проблемы, с которыми сталкиваются компании искусственного интеллекта. Смотрите мою предыдущую статью,OpenAI DATA DATAS PROSTERD: последствия для всехПолем
Pay Per Crawl заменяет этот бинарный выбор на автоматизированном, выставлении счетов за просмотр, полностью обработанный на краю Cloudflare. Механизм возрождает код состояния HTTP 402, «Требуется платеж», неиспользованный элемент исходной веб -спецификации и использует его для сигнализации, что заряд должен быть предназначен до обслуживания. CloudFlare функционирует как продавец записи, поэтому издателю не нужно интегрировать платежный шлюз, выпускать счета или примирить квитанции. CloudFlare собирает средства от оператора Crawler и передает их издателю по его обычному графику выплат.
Развертывание является преднамеренным и простым. На приборной панели CloudFlare издатель устанавливает единственную цену, которая применяется к каждому запросу на весь домен. Затем издатель назначает одно из трех действий каждому известному хлисто: «Разрешить» для полного свободного доступа; «Плата» для доставки контента, только если присутствует правильный намерение оплаты; и «блокировать», чтобы отрицать все запросы. Если у Hrawler, помеченной «платеж», еще нет отношений с выставлением счетов CloudFlare, запрос по -прежнему получает ответ 402, но контент не возвращается, и заголовок сообщает, что вызывающему платежу предоставит доступ, если отношения будут установлены позже. Все решения маршрутизации работают после существующих политик WAF, ограничения ставок и управления ботами, поэтому эта функция не мешает текущей осанке безопасности сайта.
Для оператора хлистого участие начинается с доказательства личности. Оператор генерирует пару клавиш ED25519, публикует открытый ключ в формате JSON Web Key (JWK) в известном URL и регистрирует URL вместе с строкой пользователя-агента пользователя с CloudFlare. Каждый запрос затем подписан в соответствии с новым стандартом Auth Web Bot Auth и несет три заголовка-подпись-агент, вход и подпись-поэтому преимущество может подтвердить, что сообщение поступило от объявленного гусенита и не было подделано. Неподписанные или узорные запросы никогда не переходят на проверку платежей; Они обрабатываются или заблокированы существующими правилами бота издателя, как обычно.
После того, как гусеницы признаны, переговоры о платежах следует за одним из двух потоков. В реактивном потоке гусеница делает обычный запрос, край возвращает статус 402, который включает заголовок хлистого цена с точной зарядкой в долларах США, и гусеница повторяет запрос с заголовком хлисто-эксплуатации, содержащего этот рисунок. Если заголовок соответствует настроенной плате, а подпись действительна, CloudFlare обслуживает контент с ответом 200 OK и регистрирует оплату. В упреждающем потоке гусеница утверждает максимально приемлемую цену в заголовке Crawler-Max Price с первой попытки. Если настройка сайта находится на потолке или ниже, контент обслуживается немедленно, фактическая плата повторяется в заголовке, заряженном хрупкой, а событие зарегистрировано. Если плата выше потолка гусеницы, Edge возвращает 402 с опубликованной ценой. Только один заголовок декларации цен - точный или максимальный - может появиться в одном запросе; Если оба присутствуют или если заголовок отсутствует на «заряде», край отвечает 402.
Бухгалтерский учет автоматический. Каждый успешный оплачиваемый ответ записывается с помощью аутентифицированной личности хлистого и взимаемой суммы. CloudFlare собирает эти записи, деберует выбранному методу оплаты оператора CRAWLER и зачисляет издателя. Поскольку CloudFlare является торговцем записи, издатель видит единый консолидированный денежный перевод и не обрабатывает споры или возвратные платы. Рабочий процесс идентичен, обрабатывает ли сайт несколько десятков платных ползаний в месяц или нескольких миллионов.
Бета навязывает одну плоскую цену для всего сайта. Дорожная карта Cloudflare включает цены на уровень на уровне пути, динамические сборы на основе категории спроса или Crawler, а также различия в лицензии для обучения, вывода или поиска, но ни одна из этих функций не является живой. Исключения могут быть добавлены в любое время, поэтому издатель может предоставить бесплатный доступ к исследованиям в области исследования при взимании с коммерческих моделей. Функция может быть отключена путем удаления правила; Это возвращает сайт в предыдущую открытую или заблокированную осанку без изменений кода.
Поэтому оплата за ползун создает предсказуемую коммерческую структуру для автоматического доступа к контенту. Он не добавляет локальной инфраструктуры, опирается на стандартные HTTP, использует криптографические подписи для идентификации и интегрирует выставление счетов в существующую платформу CloudFlare - давая руководителям четкий путь к монетизации трафика хруста без переговоров отдельных контрактов или персонала дополнительных операций.
Около одного пятого публичных веб -сайтов уже расположены за CloudFlare, и теперь компания предлагает аутентификацию веб -сканеров, договорится о цене через заголовки HTTP, собирать сборы и переводить их владельцам сайтов. Крупные издатели, такие как Condé Nast, Time, The Associated Press и другие, согласились блокировать незарегистрированные Clawlers по умолчанию и полагаться на CloudFlare для оплачиваемого доступа. Crawlers должны идентифицировать себя с криптографическими подписями сообщений RFC 9421, только строками пользователя-агента больше недостаточно.
Программа освобождает традиционную поисковую гусеницу Google, отражая постоянную зависимость издателей от Google для трафика. В результате Google все еще может обучать модели на своих кэшированных страницах без прямой оплаты, предоставляя ему конкурентное преимущество и усиливая ее рыночную власть.
Сторонники утверждают, что взимание за полки будет финансировать затраты на инфраструктуру, сократить трафик бота и побудить крупнейшего ИИ и поисковых компаний сотрудничать с общими услугами ползания вместо каждой извлечения одних и тех же страниц. Критики отвечают, что сборы могут поощрять массовое производство сгенерированной AI «Slop», предназначенное только для получения доходов от полза, поднять барьеры для небольших стартапов ИИ и укрепить позицию Cloudflare в качестве частного привратника.
Издатели различаются по своим стимулам. Правительства, крупные корпорации и советы по туризму часто получают выгоду, когда модели искусственного интеллекта цитируют их содержание, поэтому они могут предпочесть неограниченное ползование. Законодатели начинают смотреть на то, как авторские права и антимонопольные правила должны охватывать обучение искусственного интеллекта. Суды США часто заявляют, что использование контента для обучения счетов ИИ как «справедливое использование», которое ослабляет переговорную власть издателей, но правила все еще неясны. Технические исправления пока помогают, но они не решат все, и полные ответы должны будут ждать новых законов или правил.
Оригинал