【AI科技新聞分享】封殺「混血爬蟲」！Cloudflare 祭出 9/15 新制：強制拆分 AI 流量並推動 Pay Per Use 內容計費

生成式 AI 的崛起打破了網際網路「內容換流量」的傳統隱形契約。AI 公司在抓取網站內容後，直接在聊天機器人中提供解答，導致網站主失去應得的曝光與廣告收益。網際網路安全與效能巨頭 Cloudflare 正式宣布：將於 2026 年 9 月 15 日起實施全新分類新制，強制科技巨頭將不同用途的爬蟲明確拆分，並預設封鎖特定 AI 流量。同時，Cloudflare 將升級其內容授權機制，推動「按次計費（Pay Per Use）」，試圖為下一個十年的網路出版業重塑商業模式。

1. 爬蟲三國志：Cloudflare 的三大全新分類與預設制
   Cloudflare 未來將對所有造訪網站的自動化程式進行「靈魂三問」：來做什麼？儲存什麼？如何重複使用？並將 AI 流量嚴格劃分為三種類型：
   Search（搜尋型爬蟲）： 負責預先掃描網頁、建立搜尋索引，並在使用者搜尋時推薦網頁。【新制規定】：若網站頁面含有廣告，此類爬蟲預設允許通行，以維持正常的搜尋曝光。
   Agent（AI 代理人）： 代表特定真人使用者，即時進入網站完成單一任務（例如擷取當下資訊）。【新制規定】：因不具備讓真人瀏覽廣告的注意力價值，預設直接封鎖。
   Training（訓練型爬蟲）： 將網頁內容拿去訓練或微調 AI 模型，內容一經吸納便永久影響模型能力。【新制規定】：預設直接封鎖。
   關鍵鐵律： 如果科技公司的爬蟲採取「功能混合」（同時包含 Search 與 Training 業務），在 9 月 15 日後將會整隻被 Cloudflare 系統直接擋掉，這將直接衝擊 Google、Apple 和 Bing 等大廠。

2. 直指 Google 痛點：傳統搜尋與 AI 回答的模糊界線
   Cloudflare 在聲明中特別點名批評全球搜尋引擎龍頭 Google。由於 Google 同時掌握了搜尋入口與 AI 服務（Gemini），其能獲取的網路資訊量可能是其他 AI 公司的兩倍，導致網站主面臨「拒絕 Google 就失去搜尋流量，允許 Google 就被 AI 割韭菜」的兩難。
   Google 的自辯： Google 強調網站主可透過 Google-Extended 控制機制，拒絕內容被用於 Gemini 或模型訓練，且不影響一般 Google Search 收錄。
   現實的爭議： Google 主要的 Googlebot 依然會支援包含 AI Overviews（AI 總覽）和 AI Mode 在內的搜尋功能。這意味著「傳統搜尋」與「AI 直接回答」的界線已模糊不清，出版商依然拿不到應有的點閱流量。

3. 從封鎖到變現：打造「Pay Per Use」AI 內容交易基礎設施
   為了不讓網路出版業走向枯竭，Cloudflare 將先前的「Pay Per Crawl（按次抓取計費）」制度，正式升級為 「Pay Per Use（按使用計費）」：
   精準計費： 未來若某篇高價值、甚至是付費牆內的文章被 AI 引用來回答使用者問題，網站經營者就能根據實際使用情況向 AI 公司收取費用，讓注意力變現回歸創作者。
   終結無效抓取： 數據顯示，目前 AI 爬蟲有超過一半的流量是在「重複下載沒有更新的網頁」。Cloudflare 希望透過正式的授權、快取與付費機制，在精準付費的同時，大幅降低網路頻寬的無效浪費。

結論：網際網路新秩序的建立
Cloudflare 執行長 Matthew Prince 直言，當今網路上大部分的流量早已不是人類產生，而是自動化程式與機器人。網路產業必須在 AI 公司與創作者之間建立一個可持續的制度。這場在 2026 年秋季引爆的爬蟲大戰，其最終結果將重新定義未來十年網路內容產權與利益分配的終極版圖。