如何設計不產生幻覺的生產級多智能體系統,以及何時不該使用 LLM
生產級多智能體系統應以明確架構控制故障,而非只靠加長提示詞;對確定性任務使用規則路由,僅將模糊情況交給 LLM。文章提出以有界狀態圖、結構化驗證、混合向量與圖檢索,以及高風險操作的人手審批,降低錯誤累積與無限循環。攻略亦列出上線前的權限、提示詞注入過濾、追蹤記錄和故障降級檢查。
生產級多智能體系統應以明確架構控制故障,而非只靠加長提示詞;對確定性任務使用規則路由,僅將模糊情況交給 LLM。文章提出以有界狀態圖、結構化驗證、混合向量與圖檢索,以及高風險操作的人手審批,降低錯誤累積與無限循環。攻略亦列出上線前的權限、提示詞注入過濾、追蹤記錄和故障降級檢查。
提示詞工程、上下文工程與 Harness 工程分別處理 AI 指令、模型可用資訊,以及支援任務執行和驗證的系統環境。LangChain 調整系統指令、工具和 middleware 的實驗中,固定使用 GPT-5.2-Codex 的 Deep Agents 在 Terminal-Bench 2.0 得分由 52.8% 升至 66.5%,增加 13.7 個百分點。
Microsoft 為 Foundry IQ 加入知識圖譜、Microsoft-Retriever-1 檢索模型及自動資源配置,協助開發者建立可連接企業資料的 AI 智能體。
阿里雲千問大模型指南梳理由註冊、開通阿里雲百煉到建立 API Key 的接入流程,並介紹 Qwen 系列模型能力及優惠。新用戶每個模型可獲 100 萬 Token 免費額度,涵蓋 70+ 個模型、總額超 7000 萬 Token,有效期為開通後 90 天;Token Plan 個人版月費由 39 元起,新客首購低至 5 折。
這份週報梳理 2026-11-12 至 2026-11-19 的 LLM 評測與可觀測性動向,指出評估焦點正由模型輸出文字轉向智能體的行動及其蒐集的證據。ViKernel Scanner 以 8 個模擬工具和 100 項攻擊檢查評估 20 個開放權重模型,全部得 D 或 F;中位數模型在 100 項檢查中有 40 項嘗試危險行動。
作者比較 55 款聊天模型的官方牌價後發現,輸入價格最低的 claude-haiku-5.5,撰寫網誌的成本比 mimo-v2.6-flash 高 72%。兩款模型的成本分界是每個輸出 token 對應 5.5 個輸入 token,輸入與輸出比例較高時 claude-haiku-5.5 較便宜。這是價格而非模型品質比較,作者建議先用自有案例檢查品質,再記錄實際 token 用量計算比例。
這篇指南比較 2026 年 LLM 評測框架與選型方法,指出主觀「vibe check」不足以應付多個團隊、多個模型及多個版本的生產環境。完整的 Agent 評測應分別檢查工具選擇、參數提取、工具結果使用、錯誤處理、計劃連貫性和任務完成,並按團隊技術棧選擇 DeepEval、LangSmith、Promptfoo、RAGAS 等框架。
阿里雲百鍊整合通義千問及第三方大模型,提供統一 API,並支援 RAG 知識庫、智能體編排和模型微調。平台提供新人免費額度、按量付費、Token Plan、Coding Plan 及節省計劃,並説明套餐選型與成本控制。指南涵蓋平台開通、API 對接及 curl、Python 呼叫示例;新人免費推理額度有效期為 90 天,節省計劃最高可至 5.3 折。
文章提出面向企業經營分析的 AI 數據平台方案,以湖倉一體分層架構整合多源數據,並以大語言模型作為交互中樞。平台結合 RAG 與向量數據庫,把自然語言查詢映射至底層查詢語句或腳本,支援自動計算指標及趨勢預測。方案亦涵蓋數據權限管控、人工復核和模型可靠性監控。
LangSmith 匯出數據集轉入 RAGAS 需要重組資料欄位;若鍵名不符,user_input 可能全空而不報錯,metadata 等欄位亦會遺失。文中列出缺少 reference 時無法執行的評估指標,並提供欄位檢查及手動轉換示例。作者亦開發 ragasconverter.com,可轉換多種格式並列出欄位的重命名、展平、嵌套或丟棄情況;工具在瀏覽器運行,無需上傳或註冊。
這篇實戰指南提出,企業在 RAG 前應先治理知識庫,將文件拆成可檢索、可判定、可追溯的結構化事實單元。處理事實衝突時,應先按權威度排序,再比較時間,並將落選事實標記為 disputed 而不刪除。評測集建議涵蓋 50 到 100 個真實問題,分別衡量事實召回率、答案準確率及越界率。
Firecrawl Local 是 Firecrawl 的開源本機版本,以單一 Rust 二進制檔執行網站擷取、爬取及網址映射,並可在 localhost:3002 提供無需 API key 的 Firecrawl v2 API。
AI 文件智能合規審查系統結合規則引擎與經指令微調的大語言模型,透過漏斗式流程進行自動化合規審查。系統先以正則表達式篩查風險關鍵詞,再以 RAG 結合企業內部歷史判例進行語義分析,輸出標註風險條款、修改建議及置信度評分的報告。系統支援多格式文件解析、私有化部署及敏感資料脱敏。
瓴羊 Quick Service 融合大模型與 AI Agent 技術,將智能客服由成本中心轉為業務增長引擎。平台支援 15 類高頻業務操作,複雜多輪業務辦理成功率達 87%,並以服務數據反哺營運與營銷決策。其架構支援通義千問、DeepSeek 等十餘款大模型,萬級並發下 P99 響應時間不超過 1.5 秒。
企業要用好智能客服系統,阿里雲瓴羊 Quick Service 提出三項運營策略:建立可自動更新的 AI 知識庫、設計人機協同流程,以及利用全量對話數據改善產品、營銷和客服培訓。系統支援 AI Agent 調用後端 API,並以 RAG 約束回答範圍;文章亦建議採用「日監控、周調優、月復盤」機制。
阿里雲瓴羊 Quick Service 透過全渠道中台、結構化知識、RAG 及 API 呼叫,推動智能客服由回答問題轉向執行售後業務。其 Agent 執行層可呼叫訂單、物流及庫存系統,處理改地址、退換貨等事務,並正由 L3 向 L4 階段 7 發展。
文章提出一套兼顧數據安全與辦公自動化的企業內部 AI 系統架構,以邊緣推理、向量檢索和工作流編排為基礎,結合 RBAC 權限網關、私有 RAG 知識庫及智能任務代理。方案涵蓋數據治理、Agent 路由、API 橋接、快取與限流,支援制度查詢、審批輔助及事務自動化。
Vincent示範如何為 LLM Wiki 加入反思流程:以決策 Markdown 筆記和約 100 行的本機腳本,讓 Agent 在工作開始前查看決策及新證據。腳本只讀取資料,列出逾期決策、新證據、失效的取代連結和逾期待辦;它以關鍵詞匹配,不判斷證據支持還是推翻決策,需由人或 Agent 判讀。
ECA 為搜尋增強語言模型提出循證信用分配方法,以檢索文件對參考答案似然的提升作為僅用於訓練的輔助訊號。
語義化 HTML 能協助搜尋引擎和大型語言模型解析網頁內容與結構,提升 RAG 內容檢索、主要內容識別及 AI 搜尋可見度。文章建議以語義標籤建立頁面地標、標題層級、內容分組、媒體描述及可爬取連結,並在發佈前檢查標記結構與無障礙設定。
房地產管理支援知識庫應為 PDF 檢索設定可觀測的硬性查詢上限,並只把回答問題所需的段落交給生成器。限制應分別涵蓋向量候選數、重排段落數、上下文 token 預算及整個檢索階段的截止時間。文章建議記錄各階段數量、來源 ID 和截斷原因,並先檢查文件時效及來源權限,避免重複或跨物業資料造成衝突答案。
瓴羊 Quick Service 以 AI Agent 任務閉環、防幻覺機制及全渠道協同,作為企業選擇智能客服系統的分析樣本。系統採用基礎大模型、行業垂直小模型與業務規則引擎的三層架構,整體意圖識別準確率可達 93%。文章建議以真實業務對話進行 POC 測試,並評估部署方式是否符合數據合規要求。
市集批量文件匯入應使用明確的集合生命週期腳本:集合不存在時才建立,列出並檢查現況,只有明確提供命令列旗標才允許刪除。刪除會不可逆地移除索引,因此建立、列出、檢視與刪除須採取不同控制,並核對匯入目標是否符合檢索服務預期。Infrai 的公開發現介面列出 20 個模組的 295 條路由,並提供免 API key 的請求及回應 schema。
KarmaBox 提出 AI 智能體記憶檔案的五類內容,涵蓋穩定事實與偏好、修正、專案與業務脈絡、事件摘要及衍生資料,供跨模型或執行環境遷移時保留記憶。文章建議以 `entries.jsonl`、`entries.md` 和 `manifest.json` 保存及管理資料,並用 golden set 驗證遷移;更換嵌入模型時須重新建立索引。
瓴羊Quick Service以四步落地閉環,涵蓋場景梳理、知識重構、智能體編排、灰度上線及持續優化。其AI Agent可完成15類高頻業務操作,將原需10分鐘的流程縮短至5秒內;萬級並發下P99響應時間低於1.5秒。平台支援網頁、App、小程序、電話、微信生態、釘釘及WhatsApp等渠道。
Google Cloud 工程師 Laxmi Harikumar 與開發者 Miles Libbey 在 AI Agent Clinic 中,以 TypeScript 編寫的 Scribant 示範 4 種記憶方案及 3 項上下文調整,應對 AI 智能體忘記用戶資料和每輪耗用更多 tokens 的問題。
作者開發和整理了 8 個實戰項目,涵蓋 AI 測試平台、Agent 評測、業務系統、接口及 UI 自動化框架、移動端測試和 AI 工具開發。部分項目提供完整源碼、本地部署教程及配套學習資料,供用戶部署、調試和練習測試流程。
這套方案以文檔解析、語義分塊、大語言模型標註及向量檢索,構建企業級 AI 智能歸檔流水線,將非結構化文件轉化為可搜尋、可調用的知識資產。系統支援多格式接入、毫秒級模糊檢索及多維過濾,並提供事件觸發和定時掃描兩種歸檔模式。
2026 年阿里雲雙 11 為通義千問 Qwen3.8-Flash 提供分層優惠,涵蓋按量節省計劃、Token Plan 訂閲、夜間折扣及上下文快取折扣。按量定價為每百萬 Token 輸入 0.8 元、輸出 2.7 元,節省計劃包季低至 4.5 折;Token Plan 新客首購 5 折。
Veduis 提出企業 RAG 文件存取控制做法,要求根據已驗證工作階段在伺服器端設定授權篩選,不讓模型提供或查看篩選條件。文章建議把來源 ACL 以羣組 ID 寫入每個 chunk,並按租戶、主體羣組集合雜湊及 ACL 版本設定快取;文件權限變更則透過 webhook 更新。作者列出五項安全測試,涵蓋未授權查詢、權限撤銷、提示詞注入、跨用戶快取重播及間接提問。
BookmarkForge 是一款完全在用戶裝置上運行的本地優先加密書籤管理工具,無需帳戶或雲端伺服器,並支援離線全文搜尋、閲讀及整理。它透過本地模型提供語意搜尋和 RAG 對話,也可使用用戶自行提供的 API key 連接 OpenAI、Claude 或 Gemini。免費版提供 500 個書籤及永久語意搜尋,並支援匯入及匯出多種格式。
招聘候選人搜尋可採用分階段檢索:先查租戶範圍內的向量索引,再查經批准的網頁來源,並以明確的「無答案」狀態取代無界爬取。Node.js 協調器將向量查詢上限設為 20;結果少於 3 項或最高分低於 0.72 時,才啟動上限為 10 的網頁後備查詢,並保留來源及租戶資料。
作者介紹以 agent-context-bridge、cited-rag 和 llm-eval-ci 三個零依賴 Python 套件組成的智能體流程,讓回答必須附來源引用或拒答,並由測試及 CI 閘門阻止不合格輸出。
文章提出電商搜尋的 5 項檢索邊界選擇,建議按資料新鮮度、控制及引用要求配置持久索引與即時查詢。穩定的商品描述、屬性和政策文字可建立索引,庫存及配送估算等易變欄位則即時查詢;租戶與 ACL、區域、保留和刪除狀態,以及來源引用都應納入檢索契約。文中比較 Elasticsearch/OpenSearch、Pinecone、Weaviate 和 Infrai,並提醒統一 API 不等於資料所在地保證。
AWS 文章示範如何在 Amazon Aurora PostgreSQL 上設計負責任 AI 控制措施,並以 RAG 客戶支援聊天機械人深入實作可解釋性。文章將 AWS Responsible AI 八個維度對應至資料庫及相關 AWS 服務,並把檢索區塊 ID、相似度分數、實際引用來源和 Guardrails 追蹤記錄至資料庫,建立可查詢的審計軌跡。
Athena Wemmert 以五個問題整理 AWS 儲存服務的選擇方式,從應用程式如何存取資料、資料形態及現有系統,延伸至共享存取與 AI/Agent 工作流。文中按訓練資料、RAG、Agent 記憶及檔案系統需求,列出 S3、S3 Vectors、S3 Metadata、EFS 和 S3 Files 等選項,並建議縮窄至一兩項後比較價格。
WebGPU 可讓大語言模型推理、嵌入向量與 RAG 在瀏覽器內執行,並透過 OPFS 持久儲存模型權重及向量索引,完成初次下載和快取後可離線運作。
文章提出一套六步測試,檢查 SharePoint AI 助手回答程序問題時會否引用未發布草稿或舊版本。測試把程序依次發布為 1.0(每 24 個月)和 2.0(每 12 個月),再保存每 6 個月一次的未發布 2.1 草稿,並以只有讀取權限的帳戶提問。若答案是 6 個月或 24 個月,分別可能表示助手讀取草稿或未標示的歷史版本;理想答案是列明文件及版本的 12 個月。
文章建議金融研究儀錶板採用具成本核算與追蹤能力的檢索管線,監測索引新鮮度、證據品質和延遲。文中附有 OpenTelemetry API 的 TypeScript 範例,記錄候選數、新鮮結果數和耗時,並建議追蹤索引工作中的文件、分塊、嵌入請求及索引大小。同時提醒避免把文件內容及帳戶識別碼寫入追蹤屬性,並在遙測資料離開程序前遮蓋查詢內容。
保險業的 guardrail 可在 AI 系統執行前、中、後施加技術限制,協助處理承保、理賠和客戶服務中的風險。文章指出,Circular SUSEP nº 695/2024 未明文要求使用 guardrail,但要求保險公司識別、評估和減低 AI 風險;guardrail 是配合相關治理要求的做法。文中亦提到,2023 年有 72% 的巴西數碼保險公司表示已開始實施 AI 技術控制。