Harness 工程入門:LLM 是大腦,Harness 是身體
Isuru Wijesiri 將一系列從第一原理講解 AI 智能體構建的文章整理成《Harness Engineering 101》1.0 版,共 16 章,並以純 Python 逐步擴展一個約 300 行的玩具智能體。
Isuru Wijesiri 將一系列從第一原理講解 AI 智能體構建的文章整理成《Harness Engineering 101》1.0 版,共 16 章,並以純 Python 逐步擴展一個約 300 行的玩具智能體。
VaultMind 是一款面向災難救援及無網絡遠徵的離線 AI 知識盒與語義檢索引擎,可在邊緣裝置本地運行量化開放權重模型及向量搜尋,網絡流出量為 0 KB。它可離線匯入文件並建立索引,所有語義計算均在記憶體內完成。項目以 MIT License 開源,可配合 SmolLM、Qwen2.5 及 Llama-3.2-1B 等模型。
提示詞注入是檢索增強應用的信任邊界問題,因為檢索文字與操作指令會進入同一輸入通道,攻擊者寫入的指令也可能影響模型。模型若能調用 API、傳送訊息、寫入資料庫或執行程式碼,成功注入便可能以應用程式權限和用戶工作階段執行操作。文章建議限制工具權限、要求重要操作確認、驗證輸出結構、限制網絡出口,並記錄工具調用及其參數、用戶工作階段和此前檢索的文件。
RAG 雖以外部脈絡減少大語言模型對參數記憶的依賴,仍可能因檢索到錯誤文件而生成看似有根據的錯誤答案,groundedness 評估亦未必能識別。文章提出四層防護:限制 temperature 至 ≤ 0.7(嚴格資料抽取或程式碼生成時調近 0.0–0.2)、按中繼資料篩選脈絡、以 Pydantic、Zod 或 AST 作確定性驗證,並以並排來源標示支援人工覆核。
這篇週報整理了 2026-10-12 至 2026-10-19 的 RAG/GraphRAG 動態,聚焦生產環境故障,以及智能體記憶的建構和評估問題。研究涵蓋 10 個 RAG 系統的 654 宗配置故障;FuseRAG 相較最佳 GraphRAG 基線,TTFT 提速 2.2–2.7x,且沒有品質損失。
StudyMate AI 是一款以本機推理為核心設計的 AI 學習助理,讓大學生就自己的學習材料提問,並協助理解概念、摘要筆記及生成練習測驗。其規劃中的架構使用 Ollama 執行開放權重大語言模型,並透過文件檢索找出相關段落,再生成附有來源參照的答案。若完整流程設定為在本機運行,可減少對外部 API 定價的依賴,並讓文件留在學生的裝置上。
Ayan 為 Graph Hacks 獨自構建 Lore,以 FalkorDB 圖譜和四個 Gemini agent 生成事故根因報告,每項主張均引用用戶有權查看的來源。
開發者修正 EPUB 轉 Markdown 轉換器,改按 spine 指定的閲讀順序處理章節,而非依檔名或 manifest 排序,避免章節錯序。轉換器會在引用位置內嵌註腳、把側欄轉成區塊引用,並支援 EPUB2 和 EPUB3 的導覽檔。單次 API 呼叫可接收 URL 或 base64 bytes,輸出保留章節結構的 Markdown,供 RAG pipeline 使用。
Awareness 説明其記憶層如何保存對話中的情景式鍵值資訊,讓新進程毋須重放歷史對話也能按需取回。作者報告 LongMemEval 的 Recall@5 為 96.0%,檢索過程不調用 LLM,並強調這種記憶不等於理解或推理。文章亦指出,O(1) 推理記憶只適用於無注意力的 O 系列;M 系列仍保留注意力。
教程示範以 Next.js、Gemini API 和 Supabase Postgres 配合 pgvector,建立可部署的 PDF 問答 RAG 應用程式,回答會串流輸出並引用來源頁碼。
Haseeb Sagheer整理了 30 道生成式 AI 與 LLM 面試題,並為每題提供可按個人項目調整的簡短示範答案。題目涵蓋 Transformer、預訓練與微調、提示詞及推理設定,以及正式環境中的安全、成本和評估。文中建議以實際項目例子説明答案,並建議尚未有 GenAI 項目的人製作 RAG 應用,練習嵌入向量、向量搜尋、提示詞及幻覺控制等概念。
作者把只在筆電運行的 RAG 示範服務移至免費伺服器,探查冷啟動與 token 預算哪一項先造成部署問題。測試中,冷啟動首個請求的延遲比暖機請求高一個數量級;服務以 1,200 token 上限拒絕超額請求並回傳 413 及估算值,空白 context 則回傳 422。文章以 MonkeyCode 的免費伺服器及免費模型存取作部署目標,並指出按字元估算 token 只能作預算警戒,不能用來計費。
深度求索(DeepSeek)於 2026年10月17日發佈 DeepSeek-V4.1-Flash-1017,並向所有用戶開放 Search API 與 Fetch API。
Statewave 作者比較六個開源 Supermemory 替代方案,重點檢視各工具能否重建智能體回答所用的完整上下文。比較中只有 Statewave 提供可重播的組裝提示詞及 HMAC-SHA256 簽署收據;其餘方案側重文件讀取路徑、記憶來源溯源、時間知識圖譜或版本化記憶。作者亦列出 Statewave 的限制,包括沒有託管雲端、實體關係圖和多模態 RAG。
作者 Nikitha Kishore Avadootha 開發 Articulate Me,以每日 5 分鐘課程教授口語溝通技巧,並提供對話練習。Gemma 4 以兩本大學教材的 1,138 段內容撰寫課程,並扮演對話對象;回饋須引用用戶實際説過的話,核對器會檢查引文是否出現在轉錄中。前三章免費,Pro 每月 $5,Prep Pack 一次性 $3;離線模式約需 1 GB RAM。
DeepSeek 本週更新 V4.1 Flash 1017,並推出 Search & Fetch API,文章將兩者視為模型推理與網頁搜尋兩線價格競爭的一部分。
推薦理由:文章把 V4.1 Flash 1017 的模型成本與 Search & Fetch API 定價並列,呈現 DeepSeek 如何從模型推理和網頁搜尋兩端改變 AI 開發者的成本結構。
Hansheng Li 根據一段影片整理出 6 個 AI 智能體由示範走向正式環境的設計概念,涵蓋 Agent loop、模型路由、工具設計、記憶與 RAG、協調方式,以及評估、可觀測性和安全。文章以客戶支援退款流程為例,建議減少不必要步驟、按任務選擇模型,並由後端驗證高風險操作;亦指出應透過評估和執行追蹤檢查系統表現。
RAG 系統即使檢索到正確文件,若送入模型的文字未包含相關段落,模型仍可能沒有取得回答所需的證據。文中的 SQLite FTS5 範例顯示,首 180 個字元沒有 Zephyr 訂單「17 days」的退貨期限,按查詢詞生成的片段則有包含。作者建議分開檢查檢索結果、傳遞的證據和回答是否正確;此示例沒有呼叫模型或評估答案準確度。
作者以小型標註語料比較 RAG 的固定長度、遞歸及語義分塊,recall@3 分別為 0.89、1.00 和 1.00。文中引用的 Mayo Clinic 研究顯示,自適應分塊的答案準確率為 87%,固定長度基線為 50%;其他研究則顯示,策略效果會隨語料、嵌入模型及評估目標而異。
RAG 管線不斷返回技術上正確、但缺乏上下文價值的結果,問題幾乎可以肯定出在分塊方式或中繼資料,而非嵌入模型。分塊邊界若切斷上下文,段落可能脱離前文被檢索,令模型產生幻覺。重疊窗口、語義分塊、父文件檢索,或儲存資訊的結構化表示,都是可行的改善方向。
DeepSeek API 已支援網頁搜尋與抓取,Search / Fetch 每 1000 次成功請求收費 5 元。透過 DeepSeek Harness / Claude Code / Codex 使用 DeepSeek API 時,Search / Fetch 呼叫目前不收費,並將於北京時間 2026 年 11 月 1 日 00:00 起按次收費。
文章提出一套播客語意搜尋流程:轉錄每集音訊、保留原始逐字稿,並按講者輪次切分工作副本建立索引。每筆記錄以確定性 ID 保存 episode_id、speaker、start_ms 和逐字稿文字;固定長度切分可能跨越講者邊界或令引文時間戳錯置。原始逐字稿另行保存,方便重新嵌入或調整切分規則而毋須再次轉錄;長講者輪次可再切分,但精確時間連結須依據實際時間資料。
保險理賠檢索架構應在相似度排序前套用存取規則,並把資料時效納入檢索 SLO。每次請求須帶有明確授權範圍,文件區塊則保留來源版本及生效日期,以便排除已撤銷或過期的內容。作者以 Go 示範請求流程,並建議透過政策延遲監測、授權版本紀錄及拒絕情境測試驗證安全性。
Member Assistant 是一款開源 AI 助手,讓購物中心小程序會員以自然語言查詢積分、泊車等資訊,並透過 SSE 串流取得附有引用來源的答案。系統以多語言嵌入向量和 FAISS 建立 RAG 知識庫,並以唯讀 SQLite、預設工具登記表及低信心答案轉交人工等方式限制操作。整套技術堆疊不使用封閉模型 API,並以 FastAPI 和 Docker 部署。
Roll-Call 自動整理 GitHub 和 Linear 的團隊活動,並以開放權重 Gemma 模型為每位成員撰寫英文每日站會摘要。託管流程使用 Gemma 4 26B A4B,經 OpenRouter 執行;報告儲存在 MongoDB Atlas。聊天 Agent 透過 Backboard 的 RAG,根據匯入資料回答團隊工作查詢。
文章提出 Node.js 變更紀錄搜尋的引用追蹤架構:先以倒排索引縮小候選集,再只對候選項重新排序,並在生成過程中保留不可變文件及文字跨度 ID。文中建議分兩階段控制檢索預算,例如先取約 50 個詞彙候選,再重新排序 10 至 20 個,並以 index_version 固定單次請求所用的索引版本。
HybridAgent 以混合式 AI 架構分開向量上的符號推理與大語言模型文字生成,藉此節省 tokens 並改善規劃。在路線規劃評測中,其準確度與純大語言模型相同,tokens 用量少 70%,延遲低 30%。文章亦提供以 Docker 部署 HybridAgent 的教學,並介紹 FAISS/Milvus 文件索引。
這篇指南提出一套離線 RAG 檢索測試方法,建議在更改聊天機械人的提示詞前,先確認檢索器是否找出足夠證據。測試以問題、人工標註的相關文件 ID 和文件修訂版本為基礎,程式按固定窗口計算 precision@k 及 recall@k,拒絕重複 ID,沒有相關性標籤時則不計分。指南指出,檢索分數不代表生成答案正確;比較設定時應固定測試集及文件版本,並另行檢查答案是否符合檢索內容。
Rimsha Kanwal 探討 RAG 中 BM25、向量搜尋及 RRF 混合檢索的排序差異,並提出一項尚未完成的試驗方案。在 AUTH_403 示例中,等權重 RRF(k = 60)把泛用登入建議排在含有解法的片段之前,説明排名融合不會核實片段是否能回答問題。
Little Kiln Support Copilot 為一人網店草擬客服回覆,參考過往處理案例,並在店主的筆電上以 Gemma 4 E2B 和 EmbeddingGemma 運行。系統使用 RAG,EmbeddingGemma 有 300M 個參數,支援 100+ 種語言。顧客訊息不會傳送至第三方 AI API,每次生成草稿亦不會產生費用。
Rudratosh Shastri 梳理 Naive RAG 的五類檢索失效,並介紹七種分別針對不同問題的 RAG 架構。文章以詞彙不匹配、上下文流失、跨文件綜合及錯誤檢索等問題,對應混合搜尋與重排、查詢轉換、Contextual Retrieval、RAPTOR、GraphRAG、Self-RAG/CRAG、Agentic RAG 和自適應路由,並比較適用情況及成本。
作者在 pgvector HNSW 並行回填時發現召回率下降,排查確認兩個 embedding 客戶端輸出的向量正規化不一致,令內積索引排序受向量長度影響。六個 COPY workers 並行寫入時,鎖等待約 3s 並拖慢評測;將每筆交易改為提交 2k rows、設定 maintenance_work_mem = 1GB 後,p99 插入延遲由 3412ms 降至 96ms。
FreelanceCanvas 透過 Ollama 在本機執行 Gemma(預設模型為 gemma3:1b),根據客戶簡介或 PDF 配對過往項目,並撰寫自由工作者提案。工具亦會整理客戶資料及生成音訊稿;里程碑、價格和風險則由固定三階段範本提供。本機執行令提案文字留在用戶電腦,而項目配對目前使用雜湊向量,並非真正的嵌入向量。
AHGV Local AI Tutor 是一款 AI 學習助理,讓學生上載 PDF、Markdown 和文字檔或貼上筆記,生成摘要、温習筆記和選擇題,並根據相關內容回答問題。系統先以詞彙檢索找出相關段落;前端採用 React 19 和 Vite,後端採用 FastAPI。項目旨在支援開放權重模型,作者正探索輕量部署方案,並計劃令推理流程可重現及清楚記錄模型和部署要求。
Vishal Kumar 為 WeMakeDevs Graph Hacks Hackathon 建構 CompanyMind AI,以 FalkorDB 知識圖譜連結公司資料,供多個 AI 智能體推理及共享記憶。
作者以 FalkorDB 圖資料庫及程式碼關係圖構建 BlastRadius,讓程式碼審查智能體沿呼叫與匯入關係追蹤下游影響。在超過 80 個檔案、近 1,500 個函式的 Pallets Flask 程式碼庫中,下游影響計算耗時 39 毫秒;跨架構邊界的 4-hop 呼叫鏈追蹤則耗時 2.3 毫秒。
作者把公司知識由向量檢索的文字片段轉入 FalkorDB 圖譜,讓智能體以 Cypher 查詢關係,回答值班工程師的問題。示範圖譜約有 4,000 個節點,可查找系統負責人、追蹤依賴影響範圍,以及回溯決策文件和作者。圖譜亦保存對話記憶並支援工單自動指派,七項工具透過 MCP 提供;作者將每個租戶使用獨立圖譜和正式評測列為後續工作。
作者以 FalkorDB 構建 Nodus,將公司資訊整合成雙時間知識圖譜,回答歸屬、知識及決策原因等問題,並為答案附上來源引文。系統以不可變斷言紀錄保存證據及有效時間,並用物化邊快取支援查詢;新主張只有權威程度相等或更高時才取代舊主張,否則記錄為爭議。
Company Brain 是一個結合知識圖譜與專責 AI 智能體的企業知識助理,讓用戶以自然語言查詢公司資訊,並取得根據檢索資料生成、附有來源及證據資訊的答案。系統可匯入 CSV 數據集至 FalkorDB,再透過 OpenRouter 的 LLM 生成回覆;前端以 React 和 TypeScript 建構,提供對話介面、搜尋、報告及知識探索等功能。
FalkorSynapse 以 FalkorDB 建構自主 SRE 多智能體系統,將服務、工程師、程式碼變更及事故處理手冊連成圖,支援智能體分析依賴關係、追查故障原因及找出負責人。FalkorDB 以 GraphBLAS 執行圖遍歷,查詢速度低於 1 ms;系統亦可執行已驗證的處理手冊,並把事故應對記錄寫入持久記憶。