原文標題:Continuous accountability for Verified bots

Cloudflare 10 月 16 日介紹一套針對 Verified bots 的持續行為評估系統。過去確認某個爬蟲的操作者身分,主要回答「它是不是宣稱的那個機器人」;新機制進一步檢查已獲驗證的爬蟲是否持續遵守網站管理者的意願,避免一旦通過身分驗證就被永久視為可信。

Cloudflare 表示,成為 Verified bot 需正確且安全地表明身分、只執行宣稱的行為,以及避免濫用。身分可透過 Web Bot Auth 對請求簽署,再由 BotBase 以開放格式登錄。新系統則建立可解釋的「信任區間」,根據長期行為而非單一請求判斷爬蟲是否值得信任,並區分每次請求的即時風險與長期建立的信任。

第一批觀察訊號有兩類:是否遵守 robots.txt 中對特定路徑或爬蟲的限制,以及收到 HTTP 429 Too Many Requests 後,是否確實降低頻率或暫停。Cloudflare 不把偶發一次違規等同持續惡意,而是尋找反覆無視網站偏好的行為模式。即使爬蟲完全走在 robots.txt 允許的路徑上,如果收到降速訊號後仍大量發送請求,也可能降低信任評價。

Cloudflare 說明,這套系統目前已在內部使用,用來累積 Verified bot 遵循網站偏好的歷史資料。未來計畫在 Cloudflare Radar 公開相關信任資訊,並讓 Cloudflare 客戶自行設定要接受的信任門檻,決定如何處理已驗證爬蟲流量;但官方沒有給出全面開放日期。

此機制會與 Bot Preference Sync、Bot Management 搭配,前者協助網站發布偏好,後者協助管理流量。對內容網站而言,這不是自動封鎖所有 AI 爬蟲,而是提供更細緻的政策遵循證據與控制方式。

發生了什麼事

Cloudflare 為 Verified bots 新增持續評估,重點檢查 robots.txt 遵循與 HTTP 429 後的降速反應。

為什麼重要

AI 爬蟲數量增加後,單靠身分驗證無法保證長期守規矩;行為信任紀錄有助於網站管理者控管負載。

影響哪些人

影響使用 Cloudflare 的網站經營者、搜尋與 AI 爬蟲業者,以及管理大量自動化請求的資安團隊。

已確認與未確認

內部評估已啟用;對客戶開放信任門檻及 Radar 公開資訊屬未來規劃,尚未公布正式時程。