Cloudflare 建立爬蟲信任評等,讓網站依行為控管機器人流量

Cloudflare 建立爬蟲信任評等,讓網站依行為控管機器人流量

2026/10/20

Cloudflare 公布爬蟲信任評估機制,針對已驗證機器人觀察其是否遵守抓取規則與降速要求,依長期行為建立信任評等。該機制目前已在內部使用,未來預計開放客戶設定信任門檻。

Cloudflare 公布一套爬蟲信任評估機制,針對已通過身分驗證的機器人,持續觀察其是否遵守網站的抓取規則,以及在收到降低請求頻率的要求後是否配合,再依據長期行為建立信任評等。該機制目前已在 Cloudflare 內部使用,未來預計開放客戶自行設定信任門檻,決定如何處理不同爬蟲的流量。

此次評估對象是 Cloudflare 的「已驗證機器人」(Verified Bots)。在原有機制下,Cloudflare 會確認爬蟲的身分及其宣稱的用途,並要求其不得濫用網站資源。通過驗證的機器人,通常能較順利地存取由 Cloudflare 保護的網站。然而,Cloudflare 也觀察到,機器人即使通過身分驗證,仍可能無視網站不希望被抓取的範圍,或在網站要求減少存取後,依然持續發出大量請求。

換言之,身分驗證只能回答「這個爬蟲是誰」,卻無法保證「這個爬蟲是否守規矩」。新的信任評等機制正是為了補足這個缺口,將評估重點從靜態的身分確認,轉向動態的行為觀察。透過長期累積的行為紀錄,Cloudflare 能夠區分出確實遵守規範的爬蟲,以及表面合規、實際卻造成網站負擔的爬蟲。

業界分析人士指出,這項機制出現的背景,與生成式 AI 帶動的爬蟲流量激增密切相關。AI 公司為了訓練模型與提供即時搜尋服務,需要大量抓取網路內容,導致許多網站面臨頻寬與運算資源的額外負擔,內容創作者也對作品遭未經授權使用感到不滿。Cloudflare 近年已陸續推出多項工具,協助網站封鎖或管理 AI 爬蟲,信任評等可視為此一策略的延伸。

對網站經營者而言,未來若能依據信任評等設定門檻,將可更精細地管理爬蟲流量。例如,對長期守規矩的爬蟲給予較寬鬆的存取權限,對不遵守規則的爬蟲則加以限制或封鎖,而非僅能在「全部允許」與「全部封鎖」之間二選一。這有助於網站在維持搜尋曝光與保護資源之間取得平衡。

對爬蟲營運者而言,這套機制也形成一種誘因。遵守抓取規則與降速要求,將直接影響其信任評等,進而決定能否順利存取大量網站。業界人士認為,這可能促使 AI 公司與搜尋業者更重視爬蟲行為的規範性,推動網路生態朝向更有秩序的方向發展。

不過,信任評等的評估標準是否透明、評分結果是否公正,以及爬蟲營運者若對評等有異議時如何申訴,仍有待 Cloudflare 進一步說明。由於 Cloudflare 服務大量網站,其評等結果對爬蟲營運者的影響力不容小覷。

展望未來,該機制何時正式開放給客戶使用,以及實際門檻設定方式,將是網站經營者與 AI 業界關注的焦點。爬蟲管理正從身分驗證邁向行為信任,也可能成為網路內容存取規範的新標準。