原文標題:Cloudflare and OpenAI: Making AI discovery better for everyone
Cloudflare 與 OpenAI 10 月 15 日公布一項從 2026 年 7 月開始的網頁發現研究試驗初步結果。兩家公司嘗試利用 Cloudflare 網路可觀察到的訊號,協助 OpenAI 的搜尋爬蟲更有效找到具參考價值、卻未必擁有大量外部連結的網頁,讓使用者在 ChatGPT Search 尋找具體資訊時有更多原始來源可供參考。
Cloudflare 表示,參與試驗的網站約占其整體網路 1%。在此範圍內,試驗已協助 OpenAI 發現並索引數億個先前未知的網頁。Cloudflare 提供的是用於發現與變更判斷的網路訊號,OpenAI 則自行評估、排序這些頁面是否適合出現在搜尋結果中;雙方並未宣稱 Cloudflare 可以決定 ChatGPT 的答案或排名。
研究也觀察到不少浪費爬取資源的情況:自動化程式持續要求不存在的路徑、網站把大量無效 URL 全部轉向首頁,或多個網址其實只是重複內容。試驗嘗試在擷取前辨識這些狀況,減少對網站與搜尋系統都沒有幫助的流量。雙方也在測試辨識可能遭植入惡意內容的個別頁面,而不是因一個頁面被入侵就直接排除整個網域。
另一個方向是利用內容變更訊號判斷何時值得重新抓取,避免反覆下載沒有更新的頁面。Cloudflare 承認新頁面被發現後可能短期增加爬蟲活動,目標仍是把資源集中在真正有變動或有價值的內容。
官方強調,網站所有者仍可決定是否允許 AI 系統存取,頁面訊號不代表取得讀取許可;研究使用的是網頁中繼資料協助搜尋發現,而非把網頁全文分享出去做模型訓練。Cloudflare 也指出,網站可透過 AI Crawl Control 管理 AI 爬蟲的存取。後續研究將進一步測試頁面變更訊號,以及被發現後能否帶來可衡量的網站成效。
發生了什麼事
Cloudflare 與 OpenAI 公布 AI 搜尋發現試驗,稱約 1% 網路參與範圍已協助索引數億個新網頁。
為什麼重要
AI 搜尋需要找到可靠且更新的原始資訊;減少無效 URL 與重複抓取,可降低網站負擔並改善來源覆蓋。
影響哪些人
影響內容網站、搜尋與 AI 產品業者,以及關注 AI 搜尋流量與內容可見度的出版者。
已確認與未確認
數億新索引頁面是試驗初步成果,並非保證網站排名或導流成長;存取許可及模型訓練用途仍受官方聲明限制。