跳到正文
10月19日週一
  1. DEV Community37

    VaultMind:為災難應對及無網絡環境下的遠徵而設的 100% 離線 AI 知識盒

    VaultMind 是一款面向災難救援及無網絡遠徵的離線 AI 知識盒與語義檢索引擎,可在邊緣裝置本地運行量化開放權重模型及向量搜尋,網絡流出量為 0 KB。它可離線匯入文件並建立索引,所有語義計算均在記憶體內完成。項目以 MIT License 開源,可配合 SmolLM、Qwen2.5 及 Llama-3.2-1B 等模型。

  2. DEV Community58

    提示詞注入是檢索流程中的信任邊界漏洞

    提示詞注入是檢索增強應用的信任邊界問題,因為檢索文字與操作指令會進入同一輸入通道,攻擊者寫入的指令也可能影響模型。模型若能調用 API、傳送訊息、寫入資料庫或執行程式碼,成功注入便可能以應用程式權限和用戶工作階段執行操作。文章建議限制工具權限、要求重要操作確認、驗證輸出結構、限制網絡出口,並記錄工具調用及其參數、用戶工作階段和此前檢索的文件。

  3. DEV Community44

    RAG 驗證陷阱:為何 AI 在生產環境仍會出現模型幻覺,以及如何修正

    RAG 雖以外部脈絡減少大語言模型對參數記憶的依賴,仍可能因檢索到錯誤文件而生成看似有根據的錯誤答案,groundedness 評估亦未必能識別。文章提出四層防護:限制 temperature 至 ≤ 0.7(嚴格資料抽取或程式碼生成時調近 0.0–0.2)、按中繼資料篩選脈絡、以 Pydantic、Zod 或 AST 作確定性驗證,並以並排來源標示支援人工覆核。

  4. DEV Community18

    StudyMate AI: A Local-First AI Study Assistant Built with Open-Weight Models

    StudyMate AI 是一款以本機推理為核心設計的 AI 學習助理,讓大學生就自己的學習材料提問,並協助理解概念、摘要筆記及生成練習測驗。其規劃中的架構使用 Ollama 執行開放權重大語言模型,並透過文件檢索找出相關段落,再生成附有來源參照的答案。若完整流程設定為在本機運行,可減少對外部 API 定價的依賴,並讓文件留在學生的裝置上。

  5. DEV Community50

    EPUB 轉 Markdown 轉換器的教訓:章節編號不可信,spine 才是唯一依據

    開發者修正 EPUB 轉 Markdown 轉換器,改按 spine 指定的閲讀順序處理章節,而非依檔名或 manifest 排序,避免章節錯序。轉換器會在引用位置內嵌註腳、把側欄轉成區塊引用,並支援 EPUB2 和 EPUB3 的導覽檔。單次 API 呼叫可接收 URL 或 base64 bytes,輸出保留章節結構的 Markdown,供 RAG pipeline 使用。

  6. DEV Community55

    Awareness 説明沒有會話的進程如何保留情景記憶

    Awareness 説明其記憶層如何保存對話中的情景式鍵值資訊,讓新進程毋須重放歷史對話也能按需取回。作者報告 LongMemEval 的 Recall@5 為 96.0%,檢索過程不調用 LLM,並強調這種記憶不等於理解或推理。文章亦指出,O(1) 推理記憶只適用於無注意力的 O 系列;M 系列仍保留注意力。

  7. DEV Community51

    生成式 AI 與 LLM 面試題:30 題附示範答案

    Haseeb Sagheer整理了 30 道生成式 AI 與 LLM 面試題,並為每題提供可按個人項目調整的簡短示範答案。題目涵蓋 Transformer、預訓練與微調、提示詞及推理設定,以及正式環境中的安全、成本和評估。文中建議以實際項目例子説明答案,並建議尚未有 GenAI 項目的人製作 RAG 應用,練習嵌入向量、向量搜尋、提示詞及幻覺控制等概念。

  8. DEV Community51

    RAG 示範服務在闔上筆電後失效:小型部署案例研究

    作者把只在筆電運行的 RAG 示範服務移至免費伺服器,探查冷啟動與 token 預算哪一項先造成部署問題。測試中,冷啟動首個請求的延遲比暖機請求高一個數量級;服務以 1,200 token 上限拒絕超額請求並回傳 413 及估算值,空白 context 則回傳 422。文章以 MonkeyCode 的免費伺服器及免費模型存取作部署目標,並指出按字元估算 token 只能作預算警戒,不能用來計費。

  9. DEV Community57

    檢索日誌不等於審計追蹤:六個 Supermemory 替代方案比較

    Statewave 作者比較六個開源 Supermemory 替代方案,重點檢視各工具能否重建智能體回答所用的完整上下文。比較中只有 Statewave 提供可重播的組裝提示詞及 HMAC-SHA256 簽署收據;其餘方案側重文件讀取路徑、記憶來源溯源、時間知識圖譜或版本化記憶。作者亦列出 Statewave 的限制,包括沒有託管雲端、實體關係圖和多模態 RAG。

  10. DEV Community55

    Articulate Me 打造每日口語溝通課程

    作者 Nikitha Kishore Avadootha 開發 Articulate Me,以每日 5 分鐘課程教授口語溝通技巧,並提供對話練習。Gemma 4 以兩本大學教材的 1,138 段內容撰寫課程,並扮演對話對象;回饋須引用用戶實際説過的話,核對器會檢查引文是否出現在轉錄中。前三章免費,Pro 每月 $5,Prep Pack 一次性 $3;離線模式約需 1 GB RAM。

  11. DEV Community55

    AI 智能體系統設計:從示範走向正式環境的 6 個重要概念

    Hansheng Li 根據一段影片整理出 6 個 AI 智能體由示範走向正式環境的設計概念,涵蓋 Agent loop、模型路由、工具設計、記憶與 RAG、協調方式,以及評估、可觀測性和安全。文章以客戶支援退款流程為例,建議減少不必要步驟、按任務選擇模型,並由後端驗證高風險操作;亦指出應透過評估和執行追蹤檢查系統表現。

  12. DEV Community60

    RAG 檢索到正確文件,送入模型的內容仍可能缺少答案

    RAG 系統即使檢索到正確文件,若送入模型的文字未包含相關段落,模型仍可能沒有取得回答所需的證據。文中的 SQLite FTS5 範例顯示,首 180 個字元沒有 Zephyr 訂單「17 days」的退貨期限,按查詢詞生成的片段則有包含。作者建議分開檢查檢索結果、傳遞的證據和回答是否正確;此示例沒有呼叫模型或評估答案準確度。

  13. DEV Community56

    RAG 分塊實測:不同策略如何影響檢索效果

    作者以小型標註語料比較 RAG 的固定長度、遞歸及語義分塊,recall@3 分別為 0.89、1.00 和 1.00。文中引用的 Mayo Clinic 研究顯示,自適應分塊的答案準確率為 87%,固定長度基線為 50%;其他研究則顯示,策略效果會隨語料、嵌入模型及評估目標而異。

  14. DEV Community60

    播客音訊轉錄與語意搜尋:如何切分逐字稿並建立索引

    文章提出一套播客語意搜尋流程:轉錄每集音訊、保留原始逐字稿,並按講者輪次切分工作副本建立索引。每筆記錄以確定性 ID 保存 episode_id、speaker、start_ms 和逐字稿文字;固定長度切分可能跨越講者邊界或令引文時間戳錯置。原始逐字稿另行保存,方便重新嵌入或調整切分規則而毋須再次轉錄;長講者輪次可再切分,但精確時間連結須依據實際時間資料。

  15. DEV Community51

    保險理賠檢索架構如何落實存取規則、資料時效與稽核

    保險理賠檢索架構應在相似度排序前套用存取規則,並把資料時效納入檢索 SLO。每次請求須帶有明確授權範圍,文件區塊則保留來源版本及生效日期,以便排除已撤銷或過期的內容。作者以 Go 示範請求流程,並建議透過政策延遲監測、授權版本紀錄及拒絕情境測試驗證安全性。

  16. DEV Community39

    Member Assistant: An Open-Source AI Helper for Mall Mini-Programs

    Member Assistant 是一款開源 AI 助手,讓購物中心小程序會員以自然語言查詢積分、泊車等資訊,並透過 SSE 串流取得附有引用來源的答案。系統以多語言嵌入向量和 FAISS 建立 RAG 知識庫,並以唯讀 SQLite、預設工具登記表及低信心答案轉交人工等方式限制操作。整套技術堆疊不使用封閉模型 API,並以 FastAPI 和 Docker 部署。

  17. DEV Community54

    Node.js 變更紀錄搜尋的引用追蹤:以低成本擴展檢索

    文章提出 Node.js 變更紀錄搜尋的引用追蹤架構:先以倒排索引縮小候選集,再只對候選項重新排序,並在生成過程中保留不可變文件及文字跨度 ID。文中建議分兩階段控制檢索預算,例如先取約 50 個詞彙候選,再重新排序 10 至 20 個,並以 index_version 固定單次請求所用的索引版本。

  18. DEV Community60

    如何在更改聊天機械人提示詞前評估 RAG 檢索效果

    這篇指南提出一套離線 RAG 檢索測試方法,建議在更改聊天機械人的提示詞前,先確認檢索器是否找出足夠證據。測試以問題、人工標註的相關文件 ID 和文件修訂版本為基礎,程式按固定窗口計算 precision@k 及 recall@k,拒絕重複 ID,沒有相關性標籤時則不計分。指南指出,檢索分數不代表生成答案正確;比較設定時應固定測試集及文件版本,並另行檢查答案是否符合檢索內容。

  19. DEV Community66

    Naive RAG 為何難應付生產環境?7 種 RAG 架構對應不同檢索失效

    Rudratosh Shastri 梳理 Naive RAG 的五類檢索失效,並介紹七種分別針對不同問題的 RAG 架構。文章以詞彙不匹配、上下文流失、跨文件綜合及錯誤檢索等問題,對應混合搜尋與重排、查詢轉換、Contextual Retrieval、RAPTOR、GraphRAG、Self-RAG/CRAG、Agentic RAG 和自適應路由,並比較適用情況及成本。

  20. DEV Community55

    pgvector HNSW 並行寫入時召回率下降,排查發現向量正規化不一致

    作者在 pgvector HNSW 並行回填時發現召回率下降,排查確認兩個 embedding 客戶端輸出的向量正規化不一致,令內積索引排序受向量長度影響。六個 COPY workers 並行寫入時,鎖等待約 3s 並拖慢評測;將每筆交易改為提交 2k rows、設定 maintenance_work_mem = 1GB 後,p99 插入延遲由 3412ms 降至 96ms。

  21. DEV Community41

    FreelanceCanvas:Gemma 在本機撰寫客戶提案,從需求簡介到投標盡在一個畫布

    FreelanceCanvas 透過 Ollama 在本機執行 Gemma(預設模型為 gemma3:1b),根據客戶簡介或 PDF 配對過往項目,並撰寫自由工作者提案。工具亦會整理客戶資料及生成音訊稿;里程碑、價格和風險則由固定三階段範本提供。本機執行令提案文字留在用戶電腦,而項目配對目前使用雜湊向量,並非真正的嵌入向量。

  22. DEV Community34

    AHGV Local AI Tutor:注重私隱的 AI 學習助理

    AHGV Local AI Tutor 是一款 AI 學習助理,讓學生上載 PDF、Markdown 和文字檔或貼上筆記,生成摘要、温習筆記和選擇題,並根據相關內容回答問題。系統先以詞彙檢索找出相關段落;前端採用 React 19 和 Vite,後端採用 FastAPI。項目旨在支援開放權重模型,作者正探索輕量部署方案,並計劃令推理流程可重現及清楚記錄模型和部署要求。

  23. DEV Community59

    作者以 FalkorDB 圖譜讓智能體查找系統負責人與依賴關係

    作者把公司知識由向量檢索的文字片段轉入 FalkorDB 圖譜,讓智能體以 Cypher 查詢關係,回答值班工程師的問題。示範圖譜約有 4,000 個節點,可查找系統負責人、追蹤依賴影響範圍,以及回溯決策文件和作者。圖譜亦保存對話記憶並支援工單自動指派,七項工具透過 MCP 提供;作者將每個租戶使用獨立圖譜和正式評測列為後續工作。

  24. DEV Community57

    每項事實均附引文、時間與爭議記錄:在 FalkorDB 上構建 Nodus

    作者以 FalkorDB 構建 Nodus,將公司資訊整合成雙時間知識圖譜,回答歸屬、知識及決策原因等問題,並為答案附上來源引文。系統以不可變斷言紀錄保存證據及有效時間,並用物化邊快取支援查詢;新主張只有權威程度相等或更高時才取代舊主張,否則記錄為爭議。

  25. DEV Community23

    Company Brain AI 平台

    Company Brain 是一個結合知識圖譜與專責 AI 智能體的企業知識助理,讓用戶以自然語言查詢公司資訊,並取得根據檢索資料生成、附有來源及證據資訊的答案。系統可匯入 CSV 數據集至 FalkorDB,再透過 OpenRouter 的 LLM 生成回覆;前端以 React 和 TypeScript 建構,提供對話介面、搜尋、報告及知識探索等功能。

10月18日週日
  1. DEV Community34

    Why Vector RAG Fails AI Agents: Building an Autonomous SRE Swarm with FalkorDB

    FalkorSynapse 以 FalkorDB 建構自主 SRE 多智能體系統,將服務、工程師、程式碼變更及事故處理手冊連成圖,支援智能體分析依賴關係、追查故障原因及找出負責人。FalkorDB 以 GraphBLAS 執行圖遍歷,查詢速度低於 1 ms;系統亦可執行已驗證的處理手冊,並把事故應對記錄寫入持久記憶。