原文標題:Making it easier for websites to express AI training preferences

OpenAI 10 月 30 日表示,將遵循一項可在 robots.txt 中表達網站內容是否供基礎生成式 AI 訓練使用的共通偏好訊號。網站經營者過去通常要針對不同 AI 供應商的爬蟲識別名稱分別維護規則,若多家供應商共同遵循同一訊號,便能減少重複設定及後續維護工作。

這項自願性安排與網際網路工程任務組織 IETF 的 AI Preferences 工作小組討論有關。OpenAI 表示將與其他參與者一同支持共通訊號,並繼續參與相關標準協商;公司也呼籲其他 AI 業者採納。

OpenAI 強調,新訊號不會取代現有 robots.txt 爬蟲控制方式,原本已提供給出版商的控制仍會繼續適用並受到尊重。公司目標是在未來幾個月實作,屆時再公告具體處理方式。這代表目前仍屬實作承諾,而不是已全面上線的功能。

發生了什麼事

OpenAI 10 月 30 日表示,將遵循一項可在 robots.txt 中表達網站內容是否供基礎生成式 AI 訓練使用的共通偏好訊號。網站經營者過去通常要針對不同 AI 供應商的爬蟲識別名稱分別維護規則,若多家供應商共同遵循同一訊號,便能減少重複設定及後續維護工作。

為什麼重要

共通標示有機會降低出版商與網站管理者維護多套爬蟲政策的成本,但是否真正生效仍取決於各供應商的採用與遵循情形。

影響哪些人

媒體網站、內容平台、企業官網、技術文件站與負責 robots.txt 的網站維運人員,都應留意後續訊號規格及供應商支援時程。

已確認與未確認

已確認 OpenAI 宣布將支援 IETF 討論中的共通訊號,並保留原有控制;尚未確認正式部署日期、參與業者完整清單及各種衝突規則的處理細節。