跳到正文
熱點事件持續更新

Robin 檢查多個博客平台的 AI 爬蟲規則

1 篇報道1 個報道來源2 小時前更新

先了解這件事

AI 綜述

2026年11月2日19:23，DEV Community 刊出 Robin 於2026年10月31日進行的博客平台檢查報道，探討哪些平台的文章可供 AI 搜尋爬蟲讀取。Robin 檢查多個平台的 robots.txt、原始 HTML 和標題搜尋結果。就 robots.txt 而言，dev.to、Substack 和 Gumroad 沒有禁止 GPTBot、OAI-SearchBot、PerplexityBot 及 Google-Extended；Medium 只禁止 GPTBot；Indie Hackers 則禁止這四種爬蟲。報道列出這些平台對四種爬蟲的 robots.txt 規則，未交代原始 HTML 和標題搜尋結果的具體發現。

AI 根據報道生成 · 2 小時前更新

最新進展11月2日 19:23
最新報道列出五個博客平台對四種爬蟲的 robots.txt 規則。

報道時間線

沿着報道，瞭解事件的不同側面。

11月2日
  1. DEV Community
    哪些博客平台允許 AI 搜尋爬蟲讀取文章？Robin 檢查 robots.txt 與原始 HTML（2026-10-31）

    Robin 檢查多個博客平台的 robots.txt、原始 HTML 和標題搜尋結果，發現 dev.to、Substack 和 Gumroad 的 robots.txt 沒有禁止 GPTBot、OAI-SearchBot、PerplexityBot 和 Google-Extended；Medium 只禁止 GPTBot，Indie Hackers 則禁止全部四種。

本事件熱度走勢

還沒有足夠的連續觀測數據，暫不繪製趨勢。