如何以 LangGraph 和 Terraform 在 AWS Lambda 部署 Agentic RAG 助手
作者以 LangGraph 建構可調用工具的 ReAct RAG 助手,並透過 Terraform 將其封裝為容器映像部署至 AWS Lambda。助手可按問題決定搜尋私有知識庫、再次檢索、調用計算器或直接回答;FAISS 索引隨容器映像部署,更新知識庫需重建索引並重新部署。
作者以 LangGraph 建構可調用工具的 ReAct RAG 助手,並透過 Terraform 將其封裝為容器映像部署至 AWS Lambda。助手可按問題決定搜尋私有知識庫、再次檢索、調用計算器或直接回答;FAISS 索引隨容器映像部署,更新知識庫需重建索引並重新部署。
Cognee 的開源 DEV.to 數據源連接器可將開發者教程、工程見解及技術文件匯入 AI 智能體的記憶圖譜。連接器支援按標籤或作者篩選文章,並提供文件模式及 DLT 數據源模式,讓 Cognee 建立知識圖譜並搜尋互相關聯的內容。
維基媒體基金會就《紐約時報》對 OpenAI 和 Microsoft 提起的版權訴訟提交法庭之友意見書,主張採取較細緻的合理使用判斷。基金會認為,過度收窄合理使用可能抑制科技創新,一概適用則可能令網絡封閉並削弱知識來源。它主張在特定情況下,將版權內容用於訓練與原始資料有別的大語言模型,或用於 RAG,視為合理使用;但反對 RAG 在未註明來源下重述既有文章。
GhostVault 是一項計劃中的 AI 數碼記憶檔案庫,擬以開放權重模型及本機推理保存和搜尋用戶的照片、信件與個人故事。AI 伴侶 The Ghost 會透過 RAG 檢索已儲存的記憶,生成個人化回應與故事,並區分虛構內容和事實回憶。私隱版本會在本機儲存照片及相關資料,用戶可自行管理內容。
Marigold /router 是一個離線優先的口述歷史工作室與虛擬追思空間,用來保存家庭回憶、照片、食譜和語音備忘錄,不會把親人塑造成聊天機械人。資料儲存在瀏覽器本機,無須帳戶、資料庫或雲端服務;完整 AI 功能使用 Ollama 和 Gemma 4 e4b,Faster-Whisper 則可選擇用於本機語音轉錄。追思指南只根據檔案內容回答,缺少資料時會拒絕猜測。
指南建議以 50 至 200 條真實問題建立 RAG 聊天機械人的評測集,納入無法回答、過時政策、權限限制及提示詞注入等案例,並在每次變更後重跑。
The Last Echo 是一款以本機 AI 保存及檢索家人故事、聲音、照片與回憶的工具。它以 Whisper 將錄音轉成文字,由 ChromaDB 檢索相關記憶,再讓本機語言模型根據檢索內容生成對話回覆,整套 AI 流程毋須外部 AI API。
The Last Remembering 是一款以開放權重 AI 建構的開源離線工具,讓家庭保存口述歷史、食譜和回憶,避免雲端依賴及冒充逝者。系統在本機以 Whisper 轉錄錄音,並用 Google Gemma 提取有逐字引句佐證的事實;用戶須審核後才可儲存。資料可匯出為 .ofrenda 檔案,並透過 SQLite 保存在本機。
文章提供多租戶 RAG 存取控制的測試方法,主張先驗證未獲授權的文件不會進入生成上下文,再評估答案品質。文中以兩個租戶和合成文件示範身份、租戶及羣組權限檢查,並列出撤銷成員資格、快取答案、引用權限及權限查詢失敗等測試情境。
作者逐一實測 DeepSeek Harness 的 10 款熱門插件,涵蓋插件市場、圖片 OCR、本地檔案引用、搜尋、長期記憶、費用監控及介面與桌面工具。文章建議不要一次安裝全部插件,而是先裝 dshmarket 和 modlens,再按偏好選擇 dsh-web-all 或 dsh-better-sidebar,最後按使用場景補充其他工具。
文章建議企業同時使用雲端 AI 閘道與第三方大語言模型 API 聚合平台時,按「單一策略所有者」原則分配路由、重試等決策,避免兩層重複處理。雲內閘道宜負責用戶及租戶身份、業務路由、預算與審計;聚合平台提供模型及數據工具資源,並回傳實際執行資訊。文章亦列出模型卡與供應卡、端到端重試預算、會話黏性及可觀測性驗收方案。
維基媒體基金會在涉及 OpenAI 的版權訴訟中,請求法院準許提交法庭之友意見書,主張分開判斷 AI 訓練與聊天機械人複製網站內容是否屬合理使用。意見書認為,通用模型訓練很可能屬合理使用,但 RAG 聊天機械人為回答用戶問題而複製網站內容則很可能不屬合理使用;使用 RAG 的公司應遵守出版商的授權條款。法官尚未裁定是否接納意見書或相關合理使用問題。
電商與金融採購客服機械人的核心考量不同:電商重視峯值承載與任務閉環,金融則重視數據邊界、權限控制和審計追溯。阿里雲瓴羊 Quick Service 支援萬級並發,P99 響應時間可控制在 1.5 秒內,並提供私有化部署、RBAC 權限控制及日誌審計。平台的 AI 問答準確率可達 93%,採購時應按場景需求透過 POC 驗證。
航天軟件擬投資約10.49億元,建設面向航天產品全生命週期的PLM+CAX高端工業軟件項目,計劃自主開發PLM、CAD、CAE、CAM、MOM、MRO六款產品,議案尚需股東會審議。北京神舟航天軟件技術股份有限公司一項基於檢索增強生成與智能體的機械工藝設計方法專利於10月27日公開,目前處於審中狀態。該方法可生成工藝設計文件,並輔助編制及自動化合規審查。
Wikimedia Foundation 向法院申請許可,擬在 OpenAI 版權侵權合併訴訟中提交不支持任何一方的法庭之友意見書。基金會主張,將版權作品用於通用 LLM 預訓練很可能屬公平使用;ChatGPT 的 RAG 則很可能不屬公平使用,並應遵守相關平台或出版者的授權條款。
文章將提示詞注入按攻擊內容進入智能體的途徑及延遲方式,分為直接、間接、儲存型和跨智能體四類,並指出沒有單一防護能涵蓋全部類型。文中分別以模型防護措施、執行時檢查、記憶完整性與檢索檢查,以及逐跳身份和政策,對應四類攻擊。
EleutherAI 的 Deep Ignorance 研究發現,預訓練數據過濾可令 6.9B 模型在 WMDP-Bio 接近隨機水平,同時大致保留無關知識基準的表現。過濾模型即使以 300M tokens 專家標註的生物風險論文微調,WMDP 表現仍低於未過濾基線。但在提供論文摘要作上下文的開卷測試中,過濾模型表現接近基線,顯示數據過濾不能阻止模型利用上下文中的相關資訊。
GEO 是透過整理真實、可核驗的資訊,讓 AI 更容易檢索、讀懂並判斷可信的工程實踐。文章拆解 RAG 的檢索、切片與生成流程,並歸納來源、結構、事實密度、時效性和多源一致性五項可信訊號。相較 SEO 著重網頁排名,GEO 著重語義塊的召回率與被採信機率。
WikEM 與英國臨牀 AI 助手 iatroX 展現兩種醫療知識工具模式,核心問題是誰核實內容,以及指引更新後答案多久能跟進。WikEM 網站列有 71,428 個頁面、涵蓋 15 種語言;iatroX 稱其臨牀指引會在發布後 24 至 48 小時內同步。文章以 Tabibu 為例,指出答案應引用可追溯來源,並在無法查證時明確説明。
RepoGhost AI 是一個程式碼庫調查平台,結合 Git 智能、程式碼分析、語意搜尋及開源 AI,協助開發者找回專案中的程式碼與歷史脈絡。平台計劃使用 Gemma、Ollama 和 RAG,透過本機推理回答程式碼庫相關問題;最終模型整合及推理結果會按實際完成情況記錄。
軟件開發者可在 2027 年前學習 25 款工具,涵蓋 AI 編程、雲端與 DevOps、AI Agent 與 LLM 工程、系統設計、後端、測試及安全。文章按職位列出工具優先次序,並建議透過實作項目展示技能。
Glance 將生成與重排序整合至同一個 9B backbone,透過共享預填上下文及輕量適配器和 pointer head 為候選段落評分。經 39 分鐘 MS MARCO 微調後,Glance 在 SciFact 和 NFCorpus 的 nDCG@10 分別為 0.741 和 0.345,高於 bge-reranker-v2-m3 的 0.721 和 0.326。
Get Anything 示範使用 Apify Actor「get_anything/llm-web-scraper」將網頁主要內容轉成 Markdown,連同 metadata 和近似 token 數量供 RAG 使用。
文章示範如何用 Apify 的 AI Web Search Scraper,一次完成 DuckDuckGo 搜尋、擷取頁面並清理成 Markdown,毋須搜尋 API key。文中提供 Python 範例,以每頁字數上限控制提示詞內容,並按搜尋排名編號來源,方便加入引用;亦可透過 Apify MCP server 接入 MCP 客戶端,讓助理自行搜尋和讀取網頁。
向量資料庫不適合作為 AI 智能體的持久記憶,因為語義相似度無法判斷事實是否仍有效,也難以掌握狀態變化與事件先後。多輪智能體基準研究顯示,少於 2% 的記憶框架能處理動態遺忘或狀態修剪。搜尋適合檢索靜態資料,記憶則需要追蹤現況、變更時間及導致決策的過往事件。
Cohere Rerank v5 Pro 與 Fast 已在 Microsoft Foundry 以 Preview 提供,文章比較兩者的適用情境並示範 C# 呼叫方式。
Akamai 推出 Akamai Inference 和 Akamai Agent Sandbox 的測試版,分別用於在 Akamai Cloud 部署 AI 模型,以及在隔離環境執行 AI 智能體生成的程式碼。
Kakao 開源兩款針對韓語搜尋優化的嵌入模型,分別為 3B 參數的 Kanana-2-3b-embedding 和 1.3B 參數的 Kanana-2-1.3b-embedding。內部評測顯示,兩款模型的韓語搜尋表現優於參數規模相近的全球開源模型,英語表現相若,記憶體用量和推理速度則提升數十倍或以上。模型採用 Kanana Open License,按授權條款可作商業用途。
Muhammad Saud 撰寫 Ragas 0.4.3 實作指南,説明如何以四項指標評估 RAG 流程,分別檢查生成器和檢索器。Faithfulness 與 answer relevancy 用於診斷生成器,context precision 與 context recall 用於診斷檢索器;後兩者需要參考答案。
Hermes 把 Agent 狀態外置為可讀、可編輯及可版本管理的文件,分別保存記憶、可複用技能與帶證據鏈的領域知識,模型權重不會因此改變。其 llm-wiki 技能以 raw/ 保存只讀原始資料、以 wiki 頁面整理知識,並透過來源標記、矛盾登記及 lint 巡檢維持可追溯性。文章亦指出,自動審查可能保存噪音或產生品質參差的技能,知識庫質素仍取決於規則與定期維護。
阿里雲瑤池 AnalyticDB MySQL 將多模態素材接入、庫內語義理解及向量、全文和結構化條件融合檢索整合於同一個兼容 MySQL 協議的資料庫。官方公佈的向量檢索數據為:百億向量在 50 毫秒約束下達到 99% 召回率;兩億向量在 1000 QPS 與 1 秒約束下達到 99% 召回率。
這套實體 AI 參考架構為美國四個配送中心建立即時數碼孿生,將倉庫、勞工、場地、影片及承運商資料整合,同時在各中心處理影片,僅傳送事件和短片。架構以 RF-DETR 偵測、OC-SORT 追蹤,並以 Mistral Large 3 675B 和 Qwen3.8-27B 提供助手功能;不訓練模型,透過記憶改善系統。
RAG 適用於資料量大、需要更新且超出上下文窗口的知識補充場景;資料量小或問題涉及行為、精確計算時,應先考慮提示詞、微調或程式碼等更合適的方法。文章指出,RAG 只能降低而非消除模型幻覺,其效果上限取決於資料質素。
文章建議 pgvector 向量放在較少更新的資料列,RAG 文件通常使用 chunks 表;需支援不同模型重新嵌入時,則另設以 (chunk_id, model) 為鍵的 chunk_embeddings 表。
Kioo 是一款離線優先的 AI 知識助理,使用 Ollama 在本機以文件內容回答問題,並列出答案所依據的原文段落;沒有網絡連線時仍可運作。預設模型為 qwen2.5:1.5b,支援英文和法文提問,文件不包含答案時會拒答。Kioo 以 MIT 授權開源,作者的測試中,檢索在 10 條可回答問題中找到正確段落,並自行攔截 2 條無法回答問題中的 1 條。
AI 知識庫即使找到多份相關資料並附上正確引用,仍可能因未分清現行規則、草稿與歷史材料而答錯。文章建議為重要材料標明文件類型及審批狀態、適用範圍、生效或復核日期、版本關係和負責人;若無法確認規則,便應列為待確認,而非形成對外承諾。提示詞要求仍須配合材料檢索、適用範圍標記和抽查;文中的安裝報價是構造例子,未在客戶項目驗證。
企業 AI 智能體可透過 LangGraph 循環式 StateGraph、確定性工具呼叫及人工審批閘門,構建生產級多智能體系統。Pydantic v2 和 JSON Schema 驗證工具參數,並在付款或資料刪除等高風險操作前要求人工批准。系統亦可在私人雲端部署 Llama 3.3、Mistral Large 或 DeepSeek 等開放權重模型。
Lantern Archive 是一款離線搜尋工具,讓用戶以問題搜尋信件、日記和筆記,並顯示相關原文及檔案、行號。它透過 Transformers.js 運行量化的 all-MiniLM-L6-v2 開放嵌入模型,以 384 維向量和餘弦相似度檢索;示範搜尋期間記錄到 0 次請求。
扁平文字 PDF 解析會破壞 RAG 文件的表格關係、多欄閲讀次序和來源位置資訊;RasgaPDF 以純 Rust 引擎保留文件的 2D 空間結構與精確座標,支援表格還原及視覺引文。12 頁學術論文可在單一 CPU 核心上約 15 ms 完成解析,並可直接整合 LangChain 和 LlamaIndex。
Google 擴展 Gemini Notebook,讓美國和印度學生免費瀏覽數百本教材,並將選定教材用作生成內容的依據。教材來自 OpenStax、Open Textbook Library 和 S Chand Publishing,生成答案可附文內引用及原文連結,並可製作學習指南、練習測驗和抽認卡。Google 未有在這次更新中宣佈 LMS 整合或企業培訓功能。