跳到正文
10月21日週三
  1. DEV Community67

    把 LLM 智能體視作新入職銀行櫃員,套用金融系統安全控制

    配備工具的 LLM 智能體應像新入職銀行櫃員一樣採用金融系統的安全控制,而不是隻依賴提示詞。文章列出五項做法:在模型外以程式碼閘門控制工具權限和不可逆操作的人手批准,將檢索內容標為不可信、記錄所有工具調用、檢查調用頻率,並按租戶限制資料庫憑證。作者指出,閘門可能配置錯誤、模型可能無視分隔標記,租戶範圍憑證亦需管理,因此這並非已解決的安全問題。

  2. DEV Community47

    為何 AI 專案在原型與正式環境之間失敗

    不少 AI 專案由原型邁向正式環境時會失敗,問題往往不在模型,而在令模型於真實應用中可靠運作所需的工程工作。資料品質、評估不足、整合故障、效能與成本、安全漏洞及監控缺失,都可能令系統無法符合實際要求。要降低失敗風險,應把 AI 視為完整的軟件系統,而非只把模型連接到 API。

  3. DEV Community64

    QA 工程師如何測試 LLM 應用:實用測試案例

    QA 工程師測試 LLM 應用時,應結合傳統功能檢查與針對 AI 行為的測試,涵蓋答案準確度、對話上下文、提示詞注入防護、回應一致性及 JSON 格式驗證。測試 RAG 應用時,還要核對檢索文件是否支持生成內容、是否遵守存取權限,並以代表性提示詞建立回歸測試;高風險情境可加入人工審核。

  4. DEV Community50

    電商工程文件檢索索引的刪除語義解析

    電商工程文件檢索應分開管理文件生命週期與向量索引,刪除時同步移除可搜尋的向量,並在來源系統保留刪除標記。文章建議以版本檢查避免舊同步任務恢復已刪內容,並在新版本可搜尋後再移除舊向量。驗證時應在刪除情境下測試小型標註問題集,同時監測相關性與 p95 延遲。

  5. DEV Community55

    線上課程導師的檢索架構:發布檢查清單

    文章提出線上課程導師應採用分階段檢索架構,發布前分別驗證內容攝取、檢索和引用,並確保租戶存取權限資料貫穿整個流程。架構要求查詢設限、內容版本可追溯,並測試課程更新、刪除及無權限用戶不會取得私人內容。評估時應分開記錄 k=5 和 k=10 的來源召回率、引用精確度、p50/p95 階段延遲及正確拒答比例。

  6. DEV Community48

    訓練管線問題:虛假主張很容易被用來訓練語言模型

    語言模型訓練管線可能把反覆轉載、缺乏獨立支持的統計數字學成可信説法,並在日後以既定事實的口吻重現。資料收集、去重、品質篩選、指令微調、偏好最佳化及檢索等環節都可能保留或放大風險,重複出現並不構成獨立佐證。評估應測試主張歸因、信心校準、來源變化對答案的影響,以及模型在證據不足時能否表達不確定。

  7. DEV Community42

    Ruflo:面向智能工作流程的 Agent 元框架

    Ruflo 是 ruvnet 開發、專為 Claude Code 和 Codex 設計的 Agent 元框架,旨在協調多個 AI Agent 與自主工作流程。其功能包括自適應記憶、自我學習、聯邦架構及 Vector RAG 整合。核心功能須使用 Claude Code 2.1.287 或更新版本,安裝設定較繁複,社羣討論亦指出 witness signatures 驗證失敗問題。

  8. DEV Community54

    醫療預約助理在檢索負載下的有據故障恢復手冊

    醫療預約助理應在檢索故障時輸出可核實的處置結果,而非讓模型生成更流暢的猜測。方法要求每段檢索內容保留來源識別碼及修訂時間,只在固定期限內重試冪等讀取,並在證據缺失、過時或矛盾時改為澄清或轉交處理。文章亦建議以空結果、過時版本、逾時及規則衝突建立重播測試,並監察引文覆蓋率、轉交率和來源過時率。

  9. DEV Community58

    為何多個部門共用 AI 伺服器時,單靠資料列隔離並不足夠

    文章指出,企業多個部門共用 AI 伺服器時,tenant_id 欄位及查詢過濾只控制存取,不能單獨保證資料隔離。作者建議在儲存、向量索引、模型上下文、憑證及日誌等層面採用部門專屬命名空間;快取或除錯工具漏套過濾時,資料可能跨部門流出。共享硬件可共用閒置率高的 GPU,但主機作業系統或 hypervisor 遭入侵仍會形成共同風險;有監管或密級要求的工作負載則需實體分隔。

  10. DEV Community67

    先分類再建立嵌入向量:RAG 管線忽略的存取控制問題

    作者指出,企業 RAG 系統若先把文件切分並建立嵌入向量、之後才處理權限,可能令用戶無權讀取的資料進入模型上下文。作者建議在匯入前盤點來源權限並保留來源資訊,於文本區塊層級分類敏感度,再在向量搜尋與上下文組裝之間加入硬性權限過濾。作者亦指出,來源文件經摘要、翻譯等轉換後,敏感度標籤應如何承襲仍未有明確做法。

  11. HuggingFace Daily Papers(社區熱門論文)38

    用於檢索增強大語言模型搜尋狀態感知的自我評估強化學習

    Self-Assessment Reinforcement Learning(SARL)讓模型在訓練期間識別搜尋狀態、改善搜尋行為,無須在推理時額外評估。雙重獎勵設計鼓勵有效而高效的搜尋軌跡,SARL 較最強基線相對提升 24.3%,在多跳推理及深度研究基準上平均分別提升 35.9% 和 27.9%。作為獨立強化學習框架,SARL 在延長搜尋過程中仍能保持訓練穩定。

  12. AWS Machine Learning Blog62

    Octave 如何在 Amazon Bedrock 上打造安全的多租戶 AI 基礎平台

    Octave 為 Reliance 在 Amazon Bedrock 上建立三層多租戶 AI 基礎平台,以支援受監管產業的文件搜尋與 AI 工作流程。平台採用 Cohere Embed v4,並以每租戶向量儲存、AgentCore 隔離執行環境及 Amazon Bedrock Guardrails 分層控制資料存取與內容風險。

    推薦理由:文章拆解多租戶合規場景中的隔離、身份與內容安全取捨,並呈現如何把共用基礎設施轉化為可重用的 AI 功能底座。

10月20日週二
  1. DEV Community30

    LLM 與 RAG 實作:PDF 文件檢索流程

    這份 RAG 實作以 LangChain 處理 PDF 文件載入、清理、分塊及向量化,建立向量資料庫供檢索並生成回答。分塊設定為 chunk_size=1000、chunk_overlap=150;嵌入使用本機 Ollama 的 nomic-embed-text,回答則由 Groq 的 gpt-oss-120b 處理。掃描版 PDF 需要使用 OCR。

  2. DEV Community34

    透過 Novu 將多渠道通知工作流程匯入 Cognee 知識圖譜

    Novu 社羣連接器 cognee-community-connector-novu 設計以 dlt 將通知中繼資料同步至 Cognee 知識圖譜。資料涵蓋工作流程、主題、通知羣組及供應商整合,支援知識圖譜和語意搜尋。連接器以 SHA-256 指紋識別變更,並設計刪除標記和憑證遮蔽;下游清理取決於所配置的匯入及清理機制。

  3. DEV Community65

    RAG 聊天機械人為何忽略你設定的規則

    文章指出,RAG 聊天機械人可能因檢索沒有把規則送入模型上下文,令模型在相關問題上無法依照規則回答。作者建議把每次都必須提供的規則、價格等內容固定加入上下文,再以 BM25 按問題篩選其餘內容;對數百個段落的知識庫,BM25 無需模型、向量資料庫或 API 呼叫。

  4. DEV Community36

    Inside AI Search #4:問答系統

    Quasiris 説明 AI 搜尋中的問答系統如何理解問題、檢索及評估資料,再生成附有來源、可追溯的答案。企業問題可能需要跨文件多輪搜尋;資料不足時,系統亦應明確表示無法確認,以免產生模型幻覺。Microsoft Research 的 AgenticRAG 在 FinanceBench 的答案正確率為 92%,較可直接取得正確佐證的情境低 2 個百分點。

  5. Unite.AI46

    企業 AI 要獲得自主權,必須先建立累積業務脈絡

    企業 AI 要可靠地承擔自主工作,必須先建立累積業務脈絡,理解數據定義、關係、假設、流程和決策。單靠按需檢索無法形成組織記憶,業務脈絡亦須可治理、修正及追溯來源。Stanford 2026 AI Index 指出,2025 年有 88% 受訪機構使用 AI,但幾乎所有業務職能的 AI 智能體部署率仍為個位數。

  6. DEV Community20

    Terms - AI ( PhD )

    LangChain 是協助開發者連接大語言模型與外部資料庫、API 及工具的開源協調框架;AI Agent 能使用工具並循環執行步驟以達成目標,生成式 AI 則根據提示詞產生文字、程式碼或答案。Ollama 可在電腦或伺服器上管理及執行 LLaMA 和 Qwen 模型。項目計劃以檢索增強生成(RAG)技術建構大語言模型,回答 ABC portal 上有關通函及 RBC 手冊的查詢。

  7. DEV Community56

    如何為網頁抓取的 RAG 內容進行結構感知分塊

    網頁抓取文件的 RAG 分塊應先按結構切分,再用 tokenizer 處理超出模型輸入上限的區段,並把標題路徑保留為 metadata。文中提供一段保留 fenced code 的標準程式庫範例,並建議以 10–30 條真實文件任務查詢,在相同頁面、embedding model、索引設定和問題下比較策略。

  8. DEV Community64

    RAG 上下文預算指南:如何整理證據而不淹沒答案

    Jack M 提出一套適用於不同向量資料庫和模型 API 的 RAG 上下文整理方法,主張預留回答空間,再按證據價值納入檢索結果。流程包括廣泛檢索、按實際問題重排、去除重複內容,並依 token 預算、來源權威性及多樣性選取證據。文章亦建議記錄候選與納入的片段及淘汰原因,以區分檢索、收納和生成環節的問題,並將檢索內容視為不可信資料。

  9. DEV Community63

    牙科診所 AI 知識庫 61 頁中,24 頁至少有一項資訊已不正確

    作者審核一間牙科診所的 AI 知識庫,發現 61 頁中有 24 頁(39%)至少包含一項當天已不正確的陳述。當中 11 頁含過期資料、6 頁描述已不存在的服務或人員、4 組內容互相衝突、3 頁無人負責;作者建議為文件記錄 owner、source_of_truth、verified_at,並每週以 12 條問題對照 AI 與系統紀錄。

  10. DEV Community46

    Media Archive Rerank Guide: Fresh Chunks Before Sending to Models

    媒體檔案近似重複篩查應先按留存政策管理分塊版本,再檢索更多候選,按原始查詢重新排序,只把最佳候選送入提示詞。以每日處理 100,000 條記錄的規劃模型為例,四個分塊留存 30 日為 12,000,000 個分塊,留存 180 日則為 72,000,000 個。檢索 20 個、保留 5 個只是起始設定;若重新排序不改變最終重複判斷,便應移除這個額外步驟。

  11. DEV Community62

    如何評估 RAG 檢索質素:離線 Recall 與點擊訊號比較,為何相關性標註更合適

    文章建議以綁定語料版本的人工相關性標註計算 Recall@K,並按高風險切片設定 RAG 檢索的離線發布門檻,而非單靠點擊訊號。點擊訊號可能受標題、摘要呈現及使用意圖影響,較適合發掘評估案例;排序、引文支持度、diff 準確度和端到端更新鮮度則須分開檢查。隨文 Go 程式讀取 JSON 測試資料、去重檢索結果 ID,計算 K 為 1、3、5、10 的宏平均 Recall@K,並拒絕格式不符的案例。

  12. DEV Community57

    生產環境 AI 系統中的向量快取設計與風險

    文章説明生產環境 AI 系統如何透過向量快取重用嵌入與檢索結果,以減少重複計算、向量搜尋延遲及下游模型呼叫成本。文中區分嵌入快取、檢索快取和上下文快取,指出快取鍵需納入租戶或授權範圍、索引版本及檢索設定。實作評估應使用真實請求重播,監測命中、失效、延遲和答案品質,並處理資料更新及權限變更造成的舊資料或越權風險。

  13. DEV Community63

    向量搜尋為何找不到錯誤碼 E4012?BM25 與 RRF 混合檢索如何補足

    作者分析了向量搜尋難以命中錯誤碼 E4012 的原因,並提出將 BM25 與向量搜尋並行執行,再以 Reciprocal Rank Fusion(RRF)合併排名。在自有的 120 條查詢測試中,混合檢索命中全部 38 條含識別符號的查詢,純向量搜尋則命中 21 條;作者指出這只是小型測試集,並非通用基準。實作時要避免 BM25 分詞器把錯誤碼等識別符號拆開,否則會削弱精確比對。

  14. DEV Community62

    Node.js 校園知識聊天:如何為內部助手建構檢索

    文章説明如何為 Node.js 內部 wiki 助手建構檢索,並把權限篩選設為查詢時的安全邊界。權限範圍應由已驗證的應用程式狀態導出,模型只根據獲準區塊作答;沒有答案時須明確表示不知道,並保留來源 ID。文章亦提出以保留文件數、平均分塊數及啟用中的嵌入版本估算索引容量,並比較 Pinecone、Weaviate、pgvector 與 Infrai 的運維取捨。

  15. DEV Community52

    金融研究儀錶板的增量檢索與證據重排實作指南

    文章提出金融研究儀錶板的分階段檢索架構,透過只攝取有變更的文件、帶中繼資料條件的有限查詢,以及保留來源脈絡,令證據重排具可追溯性。示例以 Infrai 的 API 展示 upsert 和 query,並以內容雜湊、版本及墓碑記錄處理增量更新,同時要求攝取、檢索和答案組裝各階段輸出可觀測指標。