跳到正文
10月22日週四
  1. DEV Community48

    751 個熱門網站的 AI 爬蟲存取情況:墨西哥、美國及加拿大比較

    一項對 751 個墨西哥、美國樣本及加拿大熱門網站的 robots.txt 檢查發現,美國樣本封鎖至少一個 AI 訓練爬蟲的比例最高,為 29.3%,墨西哥為 20.2%,加拿大為 13.2%。在封鎖訓練爬蟲的網站中,墨西哥和美國樣本分別有 59% 和 64% 亦封鎖至少一個 AI 搜尋爬蟲。研究結果反映網站的 robots.txt 設定,不代表封鎖一定生效。

  2. DEV Community56

    如何設定 AI 爬蟲可用的 sitemap 與逐頁 meta

    AumCreate 整理一套令 AI 爬蟲能發現、抓取、解析及引用網站內容的流程,涵蓋 sitemap、逐頁 meta、結構化資料和內部連結。流程要求 sitemap 只收錄狀態碼為 200、自我指向 canonical 且可索引的網址,並建議每個可索引頁面均可由首頁三次點擊內到達。文章亦涵蓋逐頁 meta、依範本加入結構化資料及定期核查,並提醒 llms.txt 仍是未獲採納的提議慣例。

  3. DEV Community50

    嘗試讓網頁可被找到後,我學到甚麼

    一個智能體花了一個月,嘗試讓陌生人找到自己發布的網頁,並記錄不同平台的結果。記錄顯示,能否成功發布與網頁能否被搜尋到是兩種不同問題;註冊限制、人工審批和搜尋排名都可能影響結果。評估平台時,應分開檢查能否發布,以及有需要的人能否找到網頁。

  4. DEV Community31

    我不再租用 YouTube 成長工具

    作者不再為 TubeBuddy 和 vidIQ 的 YouTube 成長工具付月費,並自行開發 OnyxIQ,提供頻道及影片分析、關鍵字研究、競爭對手比較和縮圖測試等功能。OnyxIQ 是 Chrome 擴充功能及 PWA,使用者以自己的免費 YouTube API key 操作;Basic 免費,Prime 一次性收費 $49。作者指出,OnyxIQ 尚未成熟,亦不支援跨裝置雲端同步。

  5. DEV Community44

    寫作前用 20 分鐘判讀搜尋意圖:從查詢與 SERP 到着陸頁

    文章提出一套寫作前用 20 分鐘判讀搜尋意圖的流程,將每個關鍵字的假設、內容類型、格式、角度、SERP features、着陸頁及 CTA 記錄在試算表。流程先從關鍵字修飾詞推測意圖,再查看搜尋結果頁核對內容類型、格式與角度,並以 SERP features 作線索。最後按意圖決定合適的着陸頁和 CTA,避免把不同意圖的內容混在同一篇文章。

  6. DEV Community62

    以 vibe-coding 建立的網站可正常運作,AI 搜尋卻可能讀不到

    以 vibe-coding 建立並採用 client-side rendering 的網站雖可在瀏覽器正常顯示,AI 搜尋爬蟲卻可能只讀到空白 HTML 外殼,因而無法引用頁面內容。文章建議用 curl 檢查伺服器回傳的 HTML,並透過 SSR、靜態生成或預渲染,讓爬蟲取得頁面文字;首頁、定價及服務頁尤其應以 HTML 呈現。

  7. Dify Blog31

    文本嵌入向量:基本概念與實作原理

    Embedding 將文字語義轉成多維浮點向量,向量間距可反映語義相似度,並支援搜尋、推薦、分類及聚類。OpenAI 的 text-embedding-ada-002 輸出 1536 維向量;文章亦説明以 Embedding 建立本地知識問答系統的流程,包括準備資料、分塊、向量化及儲存。文中列出 GPT-3.5 的 token 上限為 4K,GPT-4 則為 32K。

  8. Dify Blog53

    Dify 發佈 V0.3.12,加入 Chat 並優化數據集 Q2Q 檢索

    Dify 發佈 V0.3.12,加入可在對話中使用的 Chat,並優化數據集檢索策略。數據集新增 Q2Q 問答分段模式,按用戶問題尋找相似問題並返回對應答案片段;用戶亦可手動修改或新增分段範圍與內容。Chat 提供網頁瀏覽、Google 搜尋及 Wikipedia 查詢插件,並支援 GPT-3.5、GPT-4、Claude 2 等具推理能力的模型。

  9. Dify Blog51

    Dify Workflow 如何以平行及進階迭代功能構建 GPT-Researcher 式研究流程

    Dify 產品團隊示範如何用 Dify Workflow 編排類似 GPT-Researcher 的研究流程,以平行處理各子問題的搜尋與分析,最後整理成研究報告。流程先由 LLM 將問題拆成 4–6 個子查詢,再透過 Tavily API 搜尋,並由 LLM 摘要分析結果。平行模式可同時執行迭代任務,並可調整最大平行度控制 API 請求速率;錯誤處理則隔離個別迭代項目的異常。

  10. Dify Blog48

    如何用 Dify 建立 DeepResearch 研究自動化應用程式

    Dify 的 DeepResearch 教學展示如何建立研究自動化工作流程,以多輪搜尋和 LLM 摘要整合研究結果。流程利用 Iteration 節點重複搜尋,並由 LLM 生成或修訂搜尋關鍵字、判斷是否繼續,最後彙整結果並輸出報告。文章示範使用 DeepSeek API 和 Tavily Search API。

  11. Dify Blog52

    Dify 與 Brave Search:以即時搜尋強化 AI 應用

    Dify 的指南示範如何在 Dify v1.0.0 中整合 Brave Search API plugin,為 AI 應用加入即時搜尋能力。示例包括以 LLM 節點改寫查詢、交由 Brave Search 搜尋,再由另一個 LLM 整理報告的 Workflow;Agent Node 範例則結合 Brave Search 和 Arxiv Search,並把報告送至指定 Discord 頻道。

  12. Chroma Research46

    Chroma Research 評估用 Embedding Adapters 提升檢索效果

    Chroma Research 評估在嵌入向量上套用線性轉換,以提升檢索準確度的做法。只調整查詢嵌入向量,使用最少 1,500 組已標註的查詢與文件配對,檢索準確度較單獨使用預訓練嵌入模型最高提升 70%。從未標註為相關的文件中隨機抽取負面例子已足以達成改善,有助降低標註成本。

  13. Chroma Research51

    Chroma Research 提出生成式基準測試方法評估檢索系統

    Chroma Research 提出一套生成式基準測試方法,先篩選與用戶情境相關的文件,再根據情境和範例查詢生成測試查詢,以評估檢索系統。研究在 9 個公開數據集及 Weights and Biases 的 WandBot 生產資料上測試,生成查詢大致保留嵌入模型的相對排名;在 WandBot 案例中,相關檢索指標亦較接近真實查詢。團隊並提供完整程式碼,供用戶為自己的數據建立基準。

  14. EJ Tech 信報科技 · AI53

    Hello HongKong 一站搜尋香港政府服務

    AI 應用與自媒體導師 Morning Wu 自行製作香港版 Hello HongKong,讓用戶搜尋政府服務資訊並取得整理後的答案及官方來源連結。平台可搜尋 57 個官方網站及超過 8.1 萬個網頁,網址為 https://hellohongkong.app。

  15. DEV Community61

    2026 年向量搜尋延遲處理:限制逾時並平穩降級

    Node.js 向量搜尋應以請求級期限限制檢索時間、預留回應組裝時間,逾時時回退至詞彙檢索或相容快取,並明確標記降級狀態。可用 AbortController 取消向量呼叫,但需確認資料庫客戶端會遵從取消訊號;父請求取消時則應停止兩條檢索分支,而非回傳降級結果。文章建議分開監測期限耗盡、降級比例和延遲,並以人工評估查詢的召回率與資料新鮮度作為品質護欄。

  16. DEV Community48

    我的 AI 可見度評分是 29.2:這個數字掩蓋了甚麼

    作者的 AI 引用追蹤器在 21 October 得出 29.2 的綜合評分,但按問題類別拆分後,模型表現差異很大。直接問作者姓名時,模型答對率為 88.9%;開放式類型推薦問題則只有 16.7%。作者指出,評分受問題組合影響,並會按類別列出得分、滿分和答案數量,再累積一週數據作比較。

  17. DEV Community49

    如何讓網站出現在 ChatGPT 回答中:應用於 7 個網站的 AEO、GEO 實戰經驗

    作者在 7 個網站應用 SEO、AEO 和 GEO,觀察網站內容在 AI 搜尋回答中的提及與引用情況。맛집노트 광州整理了光州 5 個區的 252 間食肆,並曾在 ChatGPT 回答中獲列為來源; 리뷰로거彙集 61 個體驗團平台資訊,也曾成為回答首項並附有來源連結。單次出現不代表持續曝光,作者建議按問題、模型和次數記錄結果,並在相同條件下重複測量。

  18. DEV Community40

    50 家醫療美容中心網站如何向 AI 引擎呈現自身資訊

    對德州 50 家小型醫療美容中心網站的檢查發現,網站程式碼常缺少或錯誤呈現供 AI 工具讀取的商家資訊。至少 27 個網站的結構化資料沒有街道地址,11 個網站的商家名稱有誤。這並非隨機抽樣,檢查結果不能反映整個行業的問題普遍程度,也不能證明 AI 引擎會否在答案中提及這些商家。

  19. DEV Community49

    旅遊行程規劃器的檢索架構與分塊邊界

    旅遊行程規劃器應採用分階段檢索,明確指定資料集、限制查詢範圍,並按行程決策設定分塊邊界,讓答案連同可追溯的來源脈絡呈現。文章建議先以小型標註資料集測試,再投入正式環境;檢索單位應保留相關行程條件,避免把例外規定與其限制的時間表拆開。

  20. DEV Community62

    如何用 robots.txt 封鎖 AI 訓練爬蟲,同時保留 AI 搜尋可見度

    Atalaya AI 提供一套 robots.txt 規則,將 AI 訓練爬蟲與 AI 搜尋爬蟲分開處理,封鎖前者並允許其他爬蟲存取。其於 2026 年 10 月抽查墨西哥、美國和加拿大的 900 個網域,其中 751 個結果可用;在至少封鎖一種訓練爬蟲的網站中,同時封鎖至少一種 AI 搜尋爬蟲的比例分別為 59%、64% 和 47%。

  21. DEV Community41

    我打造了一個在編寫程式碼前先搜尋網絡資料的 AI 編碼 Agent

    作者以 Context.dev、TypeScript、OpenCode 和 OpenRouter,在 Mac mini 上打造先搜尋網上技術資料、再規劃及生成程式碼的 AI 編碼 Agent。測試中,34 項自動化測試全部通過;dry-run 使用測試資料,沒有向 Context.dev 發出即時 API 請求。這項實驗旨在令 AI 編碼流程更重視資料研究,並不代表生成的程式碼必然正確。