研究：排名前1,000個網站封鎖AI爬蟲情況

2026年10月24日，DEV Community刊出一項針對排名前1,000個網站 robots.txt 的研究，檢查網站是否封鎖16個AI爬蟲中的任何一個。結果顯示，20.9%的網站至少封鎖一個；CCBot及GPTBot最常被封鎖，比例分別為15.5%及13.8%，AI搜尋爬蟲OAI-SearchBot則為7.0%。研究把爬蟲分為訓練、AI搜尋及用戶觸發三類，並公開逐站數據和研究方法。報道列出整體與個別爬蟲的封鎖比例，以及研究採用的分類和逐站資料；目前報道內容未提供研究以外的後續進展。

AI 根據報道生成 · 2 小時前更新

還沒有足夠的連續觀測數據，暫不繪製趨勢。