熱點事件持續更新
網站如何管理 AI 爬蟲存取
1 篇報道1 個報道來源10 小時前更新
先了解這件事
AI 綜述
報道指出,robots.txt 只能表達網站對 AI 爬蟲的偏好,無法阻止爬蟲發出請求;若要確實封鎖,網站須透過 CDN、伺服器規則或登入限制執行。OpenAI 和 Anthropic 分別設有用於訓練、搜尋及用戶觸發抓取的爬蟲,網站可按用途設定規則,在封鎖訓練抓取的同時允許搜尋引用。報道亦提及,llms.txt 是尚未成為標準的提案,透過精簡資訊和頁面連結,協助 AI 助手準確讀取網站內容。
AI 根據報道生成 · 10 小時前更新
最新進展11月21日 22:01
最新報道指出,確實封鎖 AI 爬蟲須透過 CDN、伺服器規則或登入限制執行。報道時間線
沿着報道,瞭解事件的不同側面。
11月21日
- DEV Communityrobots.txt 不能阻止 AI 爬蟲,真正封鎖須靠請求路徑控制
robots.txt 只能表達網站對 AI 爬蟲的偏好,不能阻止請求;要確實封鎖,須透過 CDN、伺服器規則或登入限制執行。OpenAI 和 Anthropic 分別設有訓練、搜尋及用戶觸發抓取的爬蟲,網站可按用途設定,並在封鎖訓練抓取的同時允許搜尋引用。llms.txt 則是尚未成為標準的提案,透過精簡資訊和頁面連結協助 AI 助手準確讀取網站內容。
本事件熱度走勢
當前熱度 8·可比範圍峯值 10(11月21日 23:00)·近 24 小時可比範圍變化 –
趨勢僅比較持續完整觀測到的相同主體,範圍可能小於當前熱度統計。移動指針或點擊圖表查看每小時熱度;鍵盤可用左右方向鍵切換。