#pay_per_crawl — Public Fediverse posts
Live and recent posts from across the Fediverse tagged #pay_per_crawl, aggregated by home.social.
-
Cloudflare: из «трубы» — в вахтёра и кассира
(про трубу в заголовке я немного зря - CF всегда были средством доставки, но любили их и за защиту; другими словами, надо бы писать про "трубу с ситечком", но в заголовок такое не ложится) Сама новость: Cloudflare, всем нам хорошо знакомый провайдер CDN и WAF, теперь будет не просто выделять в статистике посещений ИИ-ботов, но и разделять их по категориям, разрешая одним то, что запрещено другим. Ну и да, прямо замаячила тема оплаты за доступ. Brave new world, как по мне! Cloudflare разделила ИИ-ботов на три категории: Search , Agent и Training . Владельцы сайтов теперь могут независимо разрешать или блокировать поисковую индексацию, обращения агентов от имени пользователей и сбор данных для обучения моделей. Для каждой категории доступны три режима: разрешить , заблокировать везде или заблокировать только на страницах с рекламой . В результате Cloudflare уже не только пропускает трафик и отфильтровывает мусор. Она начинает решать, кто и зачем может читать сайт, а следом собирается брать оплату за проход.
https://habr.com/ru/articles/1058108/
#Cloudflare #ИИботы #вебкраулеры #WAF #CDN #BotBase #robotstxt #Googlebot #Pay_Per_Crawl #монетизация_контента
-
Cloudflare to introduce pay-per-crawl for AI bots | Hacker News
Link
Introducing pay per crawl: enabling content owners to charge AI crawlers for access
https://cloudflare.com/paypercrawl-signup/
📌 Summary:
本文介紹了 Cloudflare 推出的「pay per crawl」方案，旨在解決內容創作者面對 AI 爬蟲免費抓取其作品時的權益問題。傳統上，網站內容往往面臨兩難：要麼完全讓 AI 自由爬取，要麼完全封鎖。Cloudflare 提出第三種選擇，允許網站對 AI 爬蟲依爬取行為進行收費，給予內容擁有者更彈性的控制權。此方案透過 HTTP 402（Payment Required，需支付）狀態碼與加密簽章驗證機制實現，確保爬蟲身份無法冒充且可安全收費。內容擁有者可自主設定整站或部分頁面之爬取費率，並依爬蟲身份決定是否免費放行、收費或拒絕存取。整個支付結算由 Cloudflare 擔任交易記錄與款項分配角色，有效為內容創作者創造收益來源。此方案目前正進行私測，未來可能擴展至更複雜定價、授權及代理人自動付費等功能，重新定義網路內容的使用經濟模式，促進公平持續的數位資產管理。
🎯 Key Points:
→ 內容控制權與三種存取策略
★ 允許免費爬取、收費爬取、封鎖爬取三選一，內容擁有者能依需求調整。
★ 即使爬蟲未與 Cloudflare 建立帳務關係，也可以「收費」方式技術上達到封鎖效果，並留有未來合作可能。
→ 技術實現與安全驗證
★ 採用 HTTP 402 狀態碼提示需付費，爬蟲需用 HTTP Message Signatures（依 RFC 9421）簽署爬取請求，避免冒充。
★ 爬蟲需生成 Ed25519 密鑰對並註冊其公開 JWK 公鑰與使用者代理字串。
★ 付費協議有兩種方式：被動回應需付費請求，或主動在請求中標註預算上限加速通過。
→ 商業模式與結算流程
★ Cloudflare 擔任交易記錄與款項結算者，統一彙整每次爬取的支付事件並分潤給內容擁有者。
★ 內容擁有者可設定全站統一價格，也可針對特定爬蟲免收費或自訂策略。
→ 未來展望與社羣反饋
★ 未來可能發展動態定價、授權類型、多種貨幣及微支付機制。
★ 推動 AI 代理人能自動協商付費爬取內容，實現更進階的智能內容取得。
★ 社羣討論指出此舉可能改變網路生態，多數大型 AI 公司能負擔此費用，但中小型玩家則面臨挑戰。
★ 也有聲音質疑此方案可能加劇網路分流與付費牆，需平衡創作者權益與網路開放性。
🔖 Keywords:
#Cloudflare #pay_per_crawl #HTTP_402 #AI爬蟲 #內容付費