四大 AI 業者支援共通訓練偏好訊號,網站可透過 robots.txt 統一設定
2026/11/03
網站內容是否能被拿去訓練 AI,終於有了更統一的設定方式。Google、OpenAI 等四大 AI 業者宣布支援共通的 AI 訓練偏好訊號,未來網站經營者只要透過 robots.txt 檔案統一設定,就能表達是否允許網站內容被用於 AI 模型訓練,不必再針對各家業者的爬蟲逐一設定規則。
robots.txt 是網站用來告訴搜尋引擎與網路爬蟲哪些頁面可以存取的標準檔案,已有數十年歷史。在生成式 AI 興起後,各家 AI 業者推出了各自的爬蟲,網站經營者若想阻止內容被用於訓練,必須分別封鎖不同業者的爬蟲名稱。業界分析人士指出,這種做法不僅繁瑣,也容易遺漏新出現的爬蟲,讓網站經營者難以有效管理自己的內容。
共通訓練偏好訊號的出現,意在解決這個問題。透過統一的語法,網站可以清楚區分「允許被搜尋引擎索引」與「允許被用於 AI 訓練」兩件事。這一點相當重要,因為許多網站希望維持搜尋曝光,卻不希望內容被無償拿去訓練商業 AI 模型。
對內容產業而言,這是爭取內容主導權的一步。新聞媒體、出版商與創作者長期抱怨 AI 業者在未經授權的情況下使用其內容訓練模型,相關爭議甚至演變成多起訴訟。據悉,部分媒體已與 AI 業者簽訂內容授權協議,而統一的偏好訊號,則讓沒有議價能力的中小型網站也能表態。
不過,robots.txt 本質上是一種「君子協定」,並不具備技術上的強制力,是否遵守仍取決於爬蟲業者本身。四大業者宣布支援固然具指標意義,但其他 AI 公司與資料蒐集業者是否跟進,將影響這項機制的實際效果。此外,已經被用於訓練的過往內容,也不會因為新的設定而被移除。
整體而言,共通 AI 訓練偏好訊號是 AI 業者與內容方之間建立規則的重要進展。後續觀察重點包括更多業者是否加入支援、網站經營者的採用比例,以及相關機制是否會進一步發展成具法律效力的標準。