Context Engineering 指南:如何像管理 RAM 一樣管理上下文窗口
這篇指南提出上下文工程(Context Engineering),主張把上下文窗口視為智能體的工作記憶體(RAM),而非無限制堆放資料的空間。指南以 W-S-C-I 概括四項策略:把資料寫入外部儲存、按需檢索、動態壓縮冗餘內容,以及透過子智能體隔離不同任務。
這篇指南提出上下文工程(Context Engineering),主張把上下文窗口視為智能體的工作記憶體(RAM),而非無限制堆放資料的空間。指南以 W-S-C-I 概括四項策略:把資料寫入外部儲存、按需檢索、動態壓縮冗餘內容,以及透過子智能體隔離不同任務。
作者建立了一套面向 RAG 系統的評估框架,以 90 多個測試案例檢查檢索品質、上下文精準度、安全及幻覺防護。作者稱,微調 sentence-transformer 後檢索準確率由 42% 升至 78%;加入 cross-encoder reranking 後,上下文精準度由 40% 升至 92%,自信幻覺減少 85%。
配備工具的 LLM 智能體應像新入職銀行櫃員一樣採用金融系統的安全控制,而不是隻依賴提示詞。文章列出五項做法:在模型外以程式碼閘門控制工具權限和不可逆操作的人手批准,將檢索內容標為不可信、記錄所有工具調用、檢查調用頻率,並按租戶限制資料庫憑證。作者指出,閘門可能配置錯誤、模型可能無視分隔標記,租戶範圍憑證亦需管理,因此這並非已解決的安全問題。
不少 AI 專案由原型邁向正式環境時會失敗,問題往往不在模型,而在令模型於真實應用中可靠運作所需的工程工作。資料品質、評估不足、整合故障、效能與成本、安全漏洞及監控缺失,都可能令系統無法符合實際要求。要降低失敗風險,應把 AI 視為完整的軟件系統,而非只把模型連接到 API。
開發者使用 Python、Streamlit 和 Google's Gemini API 建立 AI 文件問答與知識助理,讓用戶上載 PDF 或文字文件並即時提問,從文件內容提取答案。使用者需輸入 Gemini API Key,專案亦提供 Streamlit 示範應用程式及 GitHub 原始碼。
QA 工程師測試 LLM 應用時,應結合傳統功能檢查與針對 AI 行為的測試,涵蓋答案準確度、對話上下文、提示詞注入防護、回應一致性及 JSON 格式驗證。測試 RAG 應用時,還要核對檢索文件是否支持生成內容、是否遵守存取權限,並以代表性提示詞建立回歸測試;高風險情境可加入人工審核。
電商工程文件檢索應分開管理文件生命週期與向量索引,刪除時同步移除可搜尋的向量,並在來源系統保留刪除標記。文章建議以版本檢查避免舊同步任務恢復已刪內容,並在新版本可搜尋後再移除舊向量。驗證時應在刪除情境下測試小型標註問題集,同時監測相關性與 p95 延遲。
指南提出以工作負載路由合約管理本地 AI,按資料分類、所需動作及風險,把工作分配至隔離本地、受管私有、核准託管、人工處理或拒絕。合約先執行硬性限制,路由失敗時須安全停止,不能靜默轉交雲端;並記錄決策、模型及政策版本和輸出驗證結果。
文章提出線上課程導師應採用分階段檢索架構,發布前分別驗證內容攝取、檢索和引用,並確保租戶存取權限資料貫穿整個流程。架構要求查詢設限、內容版本可追溯,並測試課程更新、刪除及無權限用戶不會取得私人內容。評估時應分開記錄 k=5 和 k=10 的來源召回率、引用精確度、p50/p95 階段延遲及正確拒答比例。
語言模型訓練管線可能把反覆轉載、缺乏獨立支持的統計數字學成可信説法,並在日後以既定事實的口吻重現。資料收集、去重、品質篩選、指令微調、偏好最佳化及檢索等環節都可能保留或放大風險,重複出現並不構成獨立佐證。評估應測試主張歸因、信心校準、來源變化對答案的影響,以及模型在證據不足時能否表達不確定。
Ruflo 是 ruvnet 開發、專為 Claude Code 和 Codex 設計的 Agent 元框架,旨在協調多個 AI Agent 與自主工作流程。其功能包括自適應記憶、自我學習、聯邦架構及 Vector RAG 整合。核心功能須使用 Claude Code 2.1.287 或更新版本,安裝設定較繁複,社羣討論亦指出 witness signatures 驗證失敗問題。
醫療預約助理應在檢索故障時輸出可核實的處置結果,而非讓模型生成更流暢的猜測。方法要求每段檢索內容保留來源識別碼及修訂時間,只在固定期限內重試冪等讀取,並在證據缺失、過時或矛盾時改為澄清或轉交處理。文章亦建議以空結果、過時版本、逾時及規則衝突建立重播測試,並監察引文覆蓋率、轉交率和來源過時率。
作者 Abdou 展示其 Apify Actor 將 Apify 文件頁的 41,286 個字符整理成 3,643 個字符的 Markdown,供 RAG 入庫使用。
文章指出,企業多個部門共用 AI 伺服器時,tenant_id 欄位及查詢過濾只控制存取,不能單獨保證資料隔離。作者建議在儲存、向量索引、模型上下文、憑證及日誌等層面採用部門專屬命名空間;快取或除錯工具漏套過濾時,資料可能跨部門流出。共享硬件可共用閒置率高的 GPU,但主機作業系統或 hypervisor 遭入侵仍會形成共同風險;有監管或密級要求的工作負載則需實體分隔。
作者指出,企業 RAG 系統若先把文件切分並建立嵌入向量、之後才處理權限,可能令用戶無權讀取的資料進入模型上下文。作者建議在匯入前盤點來源權限並保留來源資訊,於文本區塊層級分類敏感度,再在向量搜尋與上下文組裝之間加入硬性權限過濾。作者亦指出,來源文件經摘要、翻譯等轉換後,敏感度標籤應如何承襲仍未有明確做法。
Self-Assessment Reinforcement Learning(SARL)讓模型在訓練期間識別搜尋狀態、改善搜尋行為,無須在推理時額外評估。雙重獎勵設計鼓勵有效而高效的搜尋軌跡,SARL 較最強基線相對提升 24.3%,在多跳推理及深度研究基準上平均分別提升 35.9% 和 27.9%。作為獨立強化學習框架,SARL 在延長搜尋過程中仍能保持訓練穩定。
這篇指南建議 Node.js 搜尋流程在檢索及權限篩選後、生成前輸出結構化事件,記錄明確結果、語料庫版本、檢索模式、延遲及保護私隱的查詢指紋,避免把原始查詢文字寫入一般日誌。
Pavan Ganesh Indupudi 開發並測試 VOICE-RAG,讓系統以英語、印地語、古吉拉特語和泰盧固語回答語音問題,並在語料庫沒有支持內容時拒答。
Cognee 的 LogRocket 數據來源連接器已在 cognee-community PR #451 提供,透過 LogRocket 官方 MCP 伺服器匯入工作階段中繼資料和問題報告,轉為可供搜尋的文件。連接器可選擇匯入 sessions、issues 或兩者,但不會匯入重播 payload、DOM 錄影、HAR 數據或請求本文。
Iceberg DB 推出託管於孟買的無伺服器向量資料庫及 AI 智能體記憶平台,提供低於 20ms 的印度查詢延遲。平台內置混合搜尋、神經嵌入及四層記憶,並提供永久免費方案,包含 100,000 個向量且不會因閒置而暫停。
Octave 為 Reliance 在 Amazon Bedrock 上建立三層多租戶 AI 基礎平台,以支援受監管產業的文件搜尋與 AI 工作流程。平台採用 Cohere Embed v4,並以每租戶向量儲存、AgentCore 隔離執行環境及 Amazon Bedrock Guardrails 分層控制資料存取與內容風險。
推薦理由:文章拆解多租戶合規場景中的隔離、身份與內容安全取捨,並呈現如何把共用基礎設施轉化為可重用的 AI 功能底座。
這份 RAG 實作以 LangChain 處理 PDF 文件載入、清理、分塊及向量化,建立向量資料庫供檢索並生成回答。分塊設定為 chunk_size=1000、chunk_overlap=150;嵌入使用本機 Ollama 的 nomic-embed-text,回答則由 Groq 的 gpt-oss-120b 處理。掃描版 PDF 需要使用 OCR。
Novu 社羣連接器 cognee-community-connector-novu 設計以 dlt 將通知中繼資料同步至 Cognee 知識圖譜。資料涵蓋工作流程、主題、通知羣組及供應商整合,支援知識圖譜和語意搜尋。連接器以 SHA-256 指紋識別變更,並設計刪除標記和憑證遮蔽;下游清理取決於所配置的匯入及清理機制。
文章指出,RAG 聊天機械人可能因檢索沒有把規則送入模型上下文,令模型在相關問題上無法依照規則回答。作者建議把每次都必須提供的規則、價格等內容固定加入上下文,再以 BM25 按問題篩選其餘內容;對數百個段落的知識庫,BM25 無需模型、向量資料庫或 API 呼叫。
Quasiris 説明 AI 搜尋中的問答系統如何理解問題、檢索及評估資料,再生成附有來源、可追溯的答案。企業問題可能需要跨文件多輪搜尋;資料不足時,系統亦應明確表示無法確認,以免產生模型幻覺。Microsoft Research 的 AgenticRAG 在 FinanceBench 的答案正確率為 92%,較可直接取得正確佐證的情境低 2 個百分點。
企業 AI 要可靠地承擔自主工作,必須先建立累積業務脈絡,理解數據定義、關係、假設、流程和決策。單靠按需檢索無法形成組織記憶,業務脈絡亦須可治理、修正及追溯來源。Stanford 2026 AI Index 指出,2025 年有 88% 受訪機構使用 AI,但幾乎所有業務職能的 AI 智能體部署率仍為個位數。
LangChain 是協助開發者連接大語言模型與外部資料庫、API 及工具的開源協調框架;AI Agent 能使用工具並循環執行步驟以達成目標,生成式 AI 則根據提示詞產生文字、程式碼或答案。Ollama 可在電腦或伺服器上管理及執行 LLaMA 和 Qwen 模型。項目計劃以檢索增強生成(RAG)技術建構大語言模型,回答 ABC portal 上有關通函及 RBC 手冊的查詢。
網頁抓取文件的 RAG 分塊應先按結構切分,再用 tokenizer 處理超出模型輸入上限的區段,並把標題路徑保留為 metadata。文中提供一段保留 fenced code 的標準程式庫範例,並建議以 10–30 條真實文件任務查詢,在相同頁面、embedding model、索引設定和問題下比較策略。
作者為 AI 智能體建立文件爬蟲,可按需抓取網頁文件並轉成 Markdown;該工具在 49 秒內抓取 60 頁 Python 文件。方案採用同一網域抓取與並行處理,並把轉換後的文件交由 Agent 作 RAG 式檢索;作者提醒不要執行爬取內容中的程式碼。
Jack M 提出一套適用於不同向量資料庫和模型 API 的 RAG 上下文整理方法,主張預留回答空間,再按證據價值納入檢索結果。流程包括廣泛檢索、按實際問題重排、去除重複內容,並依 token 預算、來源權威性及多樣性選取證據。文章亦建議記錄候選與納入的片段及淘汰原因,以區分檢索、收納和生成環節的問題,並將檢索內容視為不可信資料。
文章以 Transformers.js 在 Node 中載入 all-MiniLM-L6-v2,示範如何從 token 隱藏狀態計算 mean pooling、CLS pooling 及 L2 正規化,並比較不同設定下的檢索排序。
作者審核一間牙科診所的 AI 知識庫,發現 61 頁中有 24 頁(39%)至少包含一項當天已不正確的陳述。當中 11 頁含過期資料、6 頁描述已不存在的服務或人員、4 組內容互相衝突、3 頁無人負責;作者建議為文件記錄 owner、source_of_truth、verified_at,並每週以 12 條問題對照 AI 與系統紀錄。
媒體檔案近似重複篩查應先按留存政策管理分塊版本,再檢索更多候選,按原始查詢重新排序,只把最佳候選送入提示詞。以每日處理 100,000 條記錄的規劃模型為例,四個分塊留存 30 日為 12,000,000 個分塊,留存 180 日則為 72,000,000 個。檢索 20 個、保留 5 個只是起始設定;若重新排序不改變最終重複判斷,便應移除這個額外步驟。
文章建議以綁定語料版本的人工相關性標註計算 Recall@K,並按高風險切片設定 RAG 檢索的離線發布門檻,而非單靠點擊訊號。點擊訊號可能受標題、摘要呈現及使用意圖影響,較適合發掘評估案例;排序、引文支持度、diff 準確度和端到端更新鮮度則須分開檢查。隨文 Go 程式讀取 JSON 測試資料、去重檢索結果 ID,計算 K 為 1、3、5、10 的宏平均 Recall@K,並拒絕格式不符的案例。
文章説明生產環境 AI 系統如何透過向量快取重用嵌入與檢索結果,以減少重複計算、向量搜尋延遲及下游模型呼叫成本。文中區分嵌入快取、檢索快取和上下文快取,指出快取鍵需納入租戶或授權範圍、索引版本及檢索設定。實作評估應使用真實請求重播,監測命中、失效、延遲和答案品質,並處理資料更新及權限變更造成的舊資料或越權風險。
作者分析了向量搜尋難以命中錯誤碼 E4012 的原因,並提出將 BM25 與向量搜尋並行執行,再以 Reciprocal Rank Fusion(RRF)合併排名。在自有的 120 條查詢測試中,混合檢索命中全部 38 條含識別符號的查詢,純向量搜尋則命中 21 條;作者指出這只是小型測試集,並非通用基準。實作時要避免 BM25 分詞器把錯誤碼等識別符號拆開,否則會削弱精確比對。
作者分享將 AI 推理由 OpenAI 遷移至 Hetzner 單台 GPU 伺服器自託管,稱月費由 $400 降至 $80。文中的成本表則列出總成本由每月 $490 降至 $195,節省約 $295;配置為 1× A100 80GB,透過 vLLM 執行 Qwen 2.5 72B,並使用 LiteLLM。
文章説明如何為 Node.js 內部 wiki 助手建構檢索,並把權限篩選設為查詢時的安全邊界。權限範圍應由已驗證的應用程式狀態導出,模型只根據獲準區塊作答;沒有答案時須明確表示不知道,並保留來源 ID。文章亦提出以保留文件數、平均分塊數及啟用中的嵌入版本估算索引容量,並比較 Pinecone、Weaviate、pgvector 與 Infrai 的運維取捨。
教學以 Next.js、Postgres、pgvector、OpenAI 官方套件和 pg 建構小型 RAG 應用,讀取 Markdown 和文字檔,檢索相關片段,再串流輸出附有引用的答案。
文章提出金融研究儀錶板的分階段檢索架構,透過只攝取有變更的文件、帶中繼資料條件的有限查詢,以及保留來源脈絡,令證據重排具可追溯性。示例以 Infrai 的 API 展示 upsert 和 query,並以內容雜湊、版本及墓碑記錄處理增量更新,同時要求攝取、檢索和答案組裝各階段輸出可觀測指標。