跳到正文
10月16日週五
  1. DEV Community65

    網站管理者應否允許 AI 爬蟲存取網站?

    Pineprompt 的指南指出,AI 訓練爬蟲與搜尋爬蟲應分開設定,是否允許前者與網站能否出現在 AI 搜尋結果中是兩項不同決定。文中整理 OpenAI、Anthropic 和 Perplexity 的不同 user-agent,並提供允許搜尋、限制訓練及封鎖私密路徑的 robots.txt 範例。作者提醒 robots.txt 是請求而非強制限制,私密內容應放在登入後,並應測試設定。

  2. DEV Community66

    排名追蹤器遇上受污染的 Google 搜尋結果,如何用 Search Console API 核查跌幅

    作者分享 Python 腳本,透過 Search Console API 對照排名追蹤器的關鍵字跌幅,判斷哪些情況可能是追蹤數據異常,哪些需要進一步調查。Nozzle 的研究指出,9 月 13 日後可判定的 17.8 million 個 SERP 中有 8.0% 受污染,基準期(8 月 20 日至 9 月 9 日)為 0.17%;Google 尚未確認相關情況。

  3. HuggingFace Daily Papers(社區熱門論文)32

    MMSearch-OPD: Easy Made Hard, Hard Made Learnable for Long-Horizon Multimodal Search Agents

    MMSearch-OPD結合可控數據精煉、強化學習(RL)與 on-policy distillation(OPD),提升長程多模態搜尋能力。Refine 流程擴展現有簡單多模態問題的推理鏈,並控制搜尋深度及跨模態證據要求。實驗顯示,數據精煉帶來提升,而在 SFT 後聯合訓練進一步改善搜尋能力。

  4. DEV Community39

    ChatGPT 為 ResistGate 帶來的訪客多於社交媒體

    作者整理 2026 年 1 月 1 日至 10 月 15 日的 Google Analytics 數據,發現 AI 助手為 ResistGate 的 Chrome Web Store 頁面帶來 12 名新訪客,是社交媒體 3 名的四倍。同一開發者的 Amethyst 和 noted. 各有 1 名 AI 助手訪客;作者猜測,描述是否清晰易懂或與推薦差異有關,並計劃改寫這兩款擴充功能的商店標題。

  5. DEV Community46

    多得 AI?我的網站開始從意想不到的渠道獲得外部連結

    網站作者追查 Search Console 的外部連結後發現,指向部落格文章的連結主要來自 note 和個人網誌,部分以文末來源清單引用。2026 年的 29 篇 note 引用文章中,20 篇設有類似學術論文的來源欄,但無法確認是否由 AI 撰寫。被引用的 19 篇文章在引用前的平均排名已在搜尋結果第 4 至 8 位,引用後未見明顯搜尋成效。

  6. Unite.AI27

    Content at Scale 評測:最像真人的 AI 寫作工具?

    Content at Scale 結合超過 3 個 LLM,生成近似真人語氣、經 SEO 優化的長篇內容;評測認為其在人類化寫作方面表現突出。RankWell® 提供即時關鍵字數據、主題集羣、報告及審核,Unique Voice 則維持一致語氣。平台沒有免費試用或免費方案,價格可能偏高,生成內容仍可能欠缺個人化特色。

  7. DEV Community49

    真正免費、無須試用期的 AI 工具推薦

    作者測試逾兩打 AI 工具,挑出無須信用卡、沒有試用期屆滿後付費牆,且免費方案仍可完成實際工作的工具。名單包括 ChatGPT(GPT-4o mini、o3-mini)、Claude Sonnet、Gemini 2.0 Flash、Perplexity、Hugging Chat 及 Canva Magic Studio。各方案仍有公平使用限制,作者亦檢查輸入資料是否用於訓練及能否退出。

  8. DEV Community46

    Node.js 醫療科技更新日誌排序:比較 BM25 與向量檢索,選用混合訊號

    Node.js 醫療科技更新日誌追蹤器宜採用混合檢索:先以 BM25 擷取精確詞項,並行以向量搜尋處理改述,再由小型、經實測的重排器處理候選結果。版本等硬性限制應設為篩選條件,並按延遲預算分階段量度。評估須涵蓋對抗性查詢,追蹤候選召回率、nDCG 或 reciprocal rank,以及各階段 p95/p99 延遲。

  9. Apple Machine Learning Research42

    Plan or Retrieve First? A Scale Study of Tool Discovery Architectures

    研究比較工具增強型 LLM 智能體的 Retrieve-then-Plan(RtP)與 Plan-then-Retrieve(PtR)架構,發現單工具查詢中 RtP 表現較佳,多工具查詢中 PtR 表現較佳。這種差異在不同檢索預算、工具庫規模及模型家族中均成立。PtR 的額外發現呼叫約令推理成本增加一倍,多工具查詢可從中受益,單工具查詢則會受損。

  10. Apple Machine Learning Research46

    選擇式結構化推理:邁向高效多模態搜尋智能體

    Selection-based Structured Reasoning(SSR)以選擇預設推理候選取代自由生成,提升多模態搜尋智能體效率。在 7 個多模態搜尋基準、2B 和 4B 模型上,SSR 每回合推理延遲降低逾 90%,每題模型推理總延遲降低 28–54%,且不犧牲任務表現。其平均成功率與同規模領先搜尋智能體相若。

  11. HuggingFace Daily Papers(社區熱門論文)34

    QD-Rec:透過品質多樣性實現推薦的開放式演化

    QD-Rec 結合品質多樣性最佳化與基礎模型,為高風險決策生成多元且理由充分的推薦。方法以情境式 bandit 選取項目,並由基礎模型生成假設;新推薦具新穎性或優於最接近的鄰項時,便會加入檔案庫。在企業併購、客戶目標選擇,以及論文和書籍推薦等場景中,QD-Rec 在大部分設定下取得最高平均品質,並建立最大檔案庫。

  12. DEV Community29

    Backlink Indexers: The Honest Guide to Getting Your Links Found, Crawled, and Counted

    反向連結索引工具協助搜尋引擎爬蟲發現載有反向連結的頁面,但不能建立連結、提升連結質素或強制 Google 收錄。頁面被抓取不代表已被收錄;只有 Google 收錄頁面後,反向連結才會傳遞連結權重。工具一般會檢查連結頁面、把有效連結發布到抓取頁面,再透過提交渠道通知搜尋引擎。

  13. DEV Community53

    Reddit 在 AI 搜尋中的角色擴大及其對內容策略的影響

    Reddit 正成為企業 AI 搜尋能見度與聲譽策略中的重要資訊來源,相關討論可能出現在 Google 搜尋結果及 AI 生成答案中。Search Engine Land 於 2026 年 9 月分析 9 million 個 AI 答案、9 個平台及 400 多個企業品牌,發現約 64% 的 AI 引用來自未獲特別突出的普通網頁,Reddit 亦反覆出現在品牌來源檢視中。

  14. DEV Community36

    SEO AI Engineering:SEO 正演變為工程學科

    SEO 正由以頁面為中心的優化,轉向結合軟件工程、數據工程與 AI 工程,持續處理搜尋可見度問題的系統化實踐。以 500,000 個網址的網站為例,工程師可用 Python 建立重複執行的檢查流程,並以 LLM 協助分析搜尋意圖、內容相似度及異常。把 SEO 要求寫成機器可讀規格,亦可用來驅動自動化測試。

  15. DEV Community52

    如何識別 AI 爬蟲而不封鎖 Googlebot

    這篇教學示範如何用 Node.js 建立網站爬蟲識別工具,並區分辨認 User-Agent 聲稱與核驗爬蟲身份。文章以 Googlebot、GPTBot 和 OAI-SearchBot 為例,説明可透過官方 DNS 方法或 IP 範圍核驗身份,並指出 User-Agent 可以偽造。另提供免費本地模擬資料測試分類邏輯;IP Security Lookup 實際查詢則需相應的付費訂閲或試用權限。

10月15日週四
  1. DEV Community54

    Agent 找到來源後,如何確認版本是否符合任務?

    Agent 使用搜尋結果前,須確認片段是否相關、能否重開確切來源,以及版本是否符合任務要求。LedgerInfra Search 在新版索引待處理或失敗時,仍可能返回上一個已就緒版本;--require-latest 會排除最新版本尚未就緒的結果,但不會等待索引或觸發重試。引用應保留 fixed_version_url;若任務要求當前程序而最新版本無法核實,應停止或延後,不要自動放寬篩選。

  2. TNW63

    Google 在美國推出 Universal Cart,將結帳整合至搜尋和 Gemini app

    Google 在美國推出 Universal Cart,讓用戶把多家零售商的商品放入同一購物車,並透過 Google Pay 結帳。購物車可發送降價及補貨提醒、顯示優惠碼,並讀取 Google Wallet 以建議付款卡;各商戶仍是銷售方,負責訂單確認和支援。Google 的擴展路線列出加拿大、澳洲和英國,未提及 EU;Google 尚未説明 Universal Cart 是否會進入 EU。

  3. TechCrunch · AI55

    Google 的 Universal Cart 購物工具在美國推出

    Google 宣佈 Universal Cart 購物工具已向美國用戶開放,可收集並追蹤用戶在搜尋和 Gemini app 中找到的商品。商品降價或缺貨後重新有貨時,工具可發送通知;付款時也會考慮信用卡優惠並顯示相關優惠碼。結帳接入 Google 今年較早前推出的開放標準 Universal Commerce Protocol(UCP),旨在協助 AI 智能體與零售商在購物流程不同環節協作。

  4. DEV Community47

    Pineprompt AI search visibility benchmark 2026

    Pineprompt 分析 7 個 AI 搜尋引擎的 18,792 個回應,發布 2026 年 AI 搜尋可見度基準測試。Perplexity 的答案全部引用來源,平均每個答案有 10.1 個引用;12.9% 的品牌獲所有引擎提及,46.2% 只獲一個引擎提及。測試涵蓋 200 個非品牌買家提示詞,於 9 月 30 日至 10 月 13 日每日進行。

  5. DEV Community42

    Which AI crawlers do 261 top websites block? Study data

    對 261 個熱門網站的 robots.txt 檔案進行分析後,研究發現 35% 至少封鎖一種訓練爬蟲,21% 至少封鎖一種搜尋爬蟲。CCBot 和 Bytespider 各有 28.7% 的網站封鎖,是最常被封鎖的爬蟲;OAI-SearchBot 的封鎖率最低,為 11.5%。在 48 個新聞網站中,有 27 個封鎖 GPTBot。

  6. DEV Community44

    如何設計讓未來的自己找得到的書籤記錄

    個人知識工具應在書籤記錄中保存資源及收藏原因,讓用戶日後能按當時用途找回內容。初版可立即收下資源,再以選填提示詢問用途,並在搜尋結果標題旁顯示用戶備註;自動標籤只作建議,不應靜默取代備註。評估重點應是用戶能否在不提示標題的情況下找回並重用資源,而非收藏連結數量。