跳到正文
10月25日週日
  1. DEV Community41

    ReplyLater:讓電郵收件箱在夜間整理,助你重拾私人時間

    ReplyLater 是一款以本機優先、開源的 AI 電郵協作工具,將未讀電郵整理成下週待辦,讓用戶稍後檢視分類結果和回覆草稿。它使用透過 Ollama 本機執行的 Gemma 2B,可分類電郵、擷取承諾及草擬回覆;遇到缺失資訊時會標示不確定性,而非自行編造答案。郵件內容用於推理時無須傳送至第三方模型 API,但私隱保障取決於實際部署和設定。

  2. DEV Community64

    RAG 答案出錯?先檢查檢索,再調整提示詞

    RAG 答案出錯時,應先確認正確資料是否已納入索引並出現在檢索結果,再判斷問題是否出在生成階段。指南建議記錄檢索到的分塊 ID、文字和分數,檢查索引內容與結果排名,最後才調整提示詞。另可用 10 至 20 條真實問題建立測試集,量度答案所在分塊是否出現在 top k 結果。

  3. DEV Community34

    企業 RAG 系統:實用實作指南

    這份實作指南説明如何建構、評估及部署生產級 RAG 流程,將大型語言模型連接至企業私有數據集。流程涵蓋文件處理、智能分塊、向量資料庫與嵌入模型選擇、混合搜尋及重新排序,並以 RAGAS 指標評估答案忠實度、相關性和上下文召回率。

  4. DEV Community50

    VEKTOR 2.0.2:LongMemEval 記憶基準測試結果

    VEKTOR 2.0.2 在 LongMemEval 的 120 題配對測試中取得 89.2%,高於前一版本的 84.2%;全數 500 題測試得分為 84.0%。團隊調整記憶召回數量及資料儲存方式,並以控制組和已答對題目樣本檢查測試結果。新增的「Remember when things happened」開關設於偏好設定面板。

  5. DEV Community39

    會逐漸瞭解你的個人 AI 助理

    文章示範如何透過 Ollama 在 MacBook 本機運行 llama3.2,建立免費、私密且快速的個人 AI 助理,並稱其達到 GPT-4 級別。文中列出 llama3.2、codellama、mistral、phi3 和 gemma2 等可用模型,作者表示已用這套技術建立 45 個免費、本機及開源工具。

  6. DEV Community44

    我的 RAG 分塊時間戳是 00:01:25,但首句實際在 00:00:56 説出

    一名 Apify Actor 開發者發現,啟用重疊分塊後,RAG 分塊的時間戳和字數仍按未加入重複內容的正文計算,導致時間戳晚於引文實際説出的時間。修正方法是先計算重疊引文,再設定分塊起始時間和字數,並加入 overlapChars 和 bodyStart 區分重複內容與新正文。程式亦調整重疊段落的選取方式,盡量在句子結尾切分,並限制向前回溯範圍。

  7. 阿里雲開發者社區 AI26

    AI 英語培訓智能體的開發技術

    AI 英語培訓智能體採用感知、大腦、行動三層架構,整合多模態輸入輸出、即時語音、教研知識檢索、長期記憶及多智能體協作。系統以教學狀態機規範教學流程,並設有主講教師、糾錯助教及評估測試智能體。開發流程涵蓋場景定義、文字對話驗證、語音與多模態整合,以及教研資料融合和系統優化。

  8. DEV Community47

    Knovum 0.0.2:以 Tauri 2、Vue 3 和 Rust 建構開源、本地優先的 AI 畫布

    Knovum 推出開源、本地優先的桌面 AI 知識工作區 Knovum 0.0.2,以無限 2D 畫布整理知識,採用 Tauri 2、Vue 3 和 Rust,閒置時約佔用 45MB RAM。新版本加入差異化空間索引、串流對話區塊邊界、互動語音預覽,以及會在來源筆記變更後標示的引用功能。Knovum 以 Apache-2.0 授權免費開源,支援 macOS 和 Windows。

  9. DEV Community63

    DSPy:告別提示詞工程,構建模組化、可優化的 AI 程式

    Kevin Madura 在分享中介紹 DSPy,示範如何以 Python 程式和模組化工作流構建 LLM 應用,並透過優化器迭代調整底層提示詞。內容涵蓋簽名、模組、工具、適配器、優化器和指標,並展示情感分類、PDF 分析、多模態處理及 ReAct Agent。分享亦指出,優化器可利用質素良好的 10-100 組輸入輸出對按指標改進程序,產生的模組可儲存或直接調用。

  10. 阿里雲開發者社區 AI32

    企業級大模型私有化部署:如何從零到一高效推進?

    企業級大模型私有化部署涵蓋需求評估與軟硬件選型、推理框架搭建、RAG 與智能體工作流整合,以及安全管控和持續運維。方案可按業務複雜度選擇 7B、14B 或 70B+ 模型,並以 vLLM 支援高並發推理。整合企業知識庫、內部系統及權限管控,可支援知識問答與業務流程處理。

  11. 阿里雲開發者社區 AI26

    阿里雲 RDS 雲數據庫全新發布:以 HTAP 自動分流、AI 原生能力與 Serverless 彈性伸縮重塑雲數據庫

    阿里雲 RDS 雲數據庫推出新版,涵蓋 HTAP 自動分流、內核優化、AI 原生能力、Serverless 彈性伸縮、安全管控及運維自動化。新版透過 DuckDB 分析只讀實例分流 OLTP 與 OLAP 請求,複雜分析查詢性能提升 10–100 倍,並支援 MySQL 8.4 LTS、PostgreSQL 18 向量能力及內置 RAG Agent、RDSClaw。

  12. DEV Community56

    如何在 Node.js 中比較市集文字摘要 API 成本

    Node.js 市集知識庫的文字摘要 API 成本比較,應涵蓋完整工作流程,而非只比較供應商的單位價格。比較時應記錄輸入及輸出 token、檢索與重排序呼叫、重試、逾時、備援呼叫和需人工覆核的比例,並以相同的脱敏問題集及固定檢索結果重播測試。文章建議先用單一適配器和固定測試集,每週記錄成效,累積四份報告後再判斷是否需要第二個適配器。

  13. DEV Community47

    上下文工程解析

    隨着上下文窗口增至數十萬個 token,團隊開始把模型接收的所有內容視為需要精心設計的上下文預算,而非只追求完美提示詞。預算包括系統提示詞、RAG 檢索文件、工具結果、對話歷史及記憶;無關內容會分散模型注意力並降低準確度。建立 RAG 或 Agent 系統時,應精簡及整理上下文,而非一味擴大模型或累積內容。

  14. HuggingFace Daily Papers(社區熱門論文)55

    記憶税:剖析智能體記憶的淨價值

    這項研究透過多項基準測試和不同模型骨幹的大規模評估,發現不少專用記憶系統在許多情況下不及直接從原始歷史檢索的簡單 RAG,呈現負淨價值。研究以 RAG 為參照,把記憶的淨價值拆分為「記憶收益」與「記憶税」;記憶處理可能移除或遮蔽證據,造成記憶税。作者表示將向社羣開源程式碼和結果,並希望這個概念能引導更可靠的記憶設計與評估。

  15. DEV Community42

    SlothAuth:以本地 Gemma、LangGraph 和 pgvector 自動準備過夜預先授權資料

    SlothAuth 是一款全本機運行的預先授權準備智能體,使用本地 Gemma、LangGraph.js、PostgreSQL、pgvector 和 Next.js 16,在夜間整理病歷證據、核對承保指引,並預先草擬申請信。醫護人員可在 30 秒內審核資料並簽署;系統亦會標示缺漏化驗,並為不符合階段治療要求的個案草擬例外理由。

  16. DEV Community61

    如何將 PDF 轉成 Markdown,供 RAG 和聊天機械人使用,以及何時不應轉換

    將 PDF 轉成 Markdown 供 RAG 使用前,先確認是否含文字層;掃描檔須先做 OCR,再按版面選擇轉換工具。文中列出 PyMuPDF、Marker、Docling 和 MarkItDown,並建議檢查表格、多欄閲讀順序及重複頁首頁尾,再按標題分塊並保留頁碼。若所用的託管聊天機械人支援直接上載 PDF,可省去自建流程,但無法控制分塊方式。

10月24日週六
  1. DEV Community55

    Agent 的資訊洩漏不在檢索,而在生成的句子

    Agent 即使只檢索用戶有權讀取的文件,仍可能把分屬不同知識區隔的資訊組合成敏感推論,並寫入更廣泛可見的內容。作者主張把檢查移到生成答案的句子,追蹤每句依據的區隔,並按輸出位置決定概括、遮蓋或拒答。較低成本的做法,是在同一工作階段出現第二個區隔後啟用嚴格檢查,並記錄草稿句子及其支持資料;作者亦指出這只能降低風險,不能完全消除。

  2. DEV Community47

    RAG、CAG 與 KAG:如何為 NodeJS 選擇合適的上下文層

    HazelJS 將 RAG、CAG、KAG 與 Memory 視為互補的上下文層,並比較它們在 NodeJS 中的用途與取捨。RAG 用於檢索相關內容,CAG 快取可重用的穩定上下文,KAG 管理具來源資訊的結構化知識,Memory 則維持用戶或工作階段的連貫性。HazelJS 提供各層套件及無需 API keys 的離線實驗。

  3. DEV Community49

    從零打造 RAG 聊天機械人:我的 3 個教訓

    作者在 Valentius Kryptix 實習期間,以 Python、Chroma 和 Gemini 建立小型 RAG 系統,讓模型先檢索文件內容再作答;測試中,系統從報告找出答案 1/6。實作顯示,分塊方式、檢查檢索結果及清晰指示都很重要;系統目前只用兩份文件,並固定檢索 top-4。

  4. DEV Community63

    RAG 檢索能否判斷應信任哪個來源?

    Edward Izgorodin 分析 RAG 檢索能否識別可信來源,指出相關性排序只能找出與問題相關的文件,不能單獨判斷哪個來源有權決定答案。文章建議保存來源標題、類型、狀態及日期,並以生效日期判斷規則何時適用,避免把發布日期或最後修改日期當成生效日期。

  5. 阿里雲開發者社區 AI61

    零點擊搜尋是甚麼,對 GEO 流量有甚麼影響?

    零點擊搜尋指用戶在搜尋結果頁取得答案而不點開外部網站,文章指出這會令 GEO 重心由排名與點擊轉向引用和品牌提及。文中引述的 2025 年統計顯示,約 60% 搜尋以零點擊結束,手機端接近 75%;Pew Research Center 的分析中,出現 AI 摘要時傳統搜尋結果點擊比例為 8%,沒有摘要時為 15%。

  6. DEV Community43

    Knovum 為何選用 Tauri 2 + Vue 3,而非 Electron,打造本機優先 AI 知識空間

    Knovum 團隊以 Tauri 2、Rust 和 Vue 3 打造開源、本機優先的桌面知識工作空間,結合無限 2D 畫布與裝置端 AI 整合。應用程式閒置時約使用 45–65MB 記憶體,並以 SQLite 和內嵌 LanceDB 儲存及搜尋資料;筆記等內容除非用戶明確要求,否則不會離開裝置。Knovum 目前為早期存取版,並已在 GitHub 開源。

  7. DEV Community41

    OpenClaw(Moltbot/Clawdbot)的持久記憶如何運作?

    OpenClaw 的持久記憶分為即時上下文、工作階段記憶、持久用戶記憶及知識記憶,透過提取和排序,只保存高價值且穩定的資訊。寫入時先執行低成本檢查,必要時才交由 LLM 評估;讀取時則檢索並按相關性、新鮮度、可信度及政策限制排序,再控制 token 和延遲預算。

  8. HuggingFace Daily Papers(社區熱門論文)46

    邊緣離線生成式 AI 的信任機制:連線狀態框架及 Raspberry Pi 5 實證研究

    研究提出 C0-C4 連線狀態框架及推理時信任機制分類,並在 Raspberry Pi 5 上評估本地檢索增強生成,測試三種 Qwen2.5 模型規模。檢索分數閘門識別知識缺口的 AUROC 為 0.97,但對主題內無法回答的問題表現較差,AUROC 為 0.68。有效簽署的污染知識包仍可通過所有檢查,令 30 條原本答對的問題全數答錯,當中 14 條返回注入答案;所測機制均不能確立證據真偽。

  9. DEV Community49

    Context Rot:一個尚未解決的 AI 問題?

    Context Rot 指大語言模型處理長上下文時表現退化:資訊雖在上下文窗口內,模型仍可能忽略中段內容,回答變得含糊或出現模型幻覺。文章介紹 Needle in the Haystack 測試,以及分拆任務、跨工作階段摘要交接、RAG 和 RLM 等應對方式。