如何為適用於工作流程的 LLM 應用設計提示詞
Dify 提出一套為工作流程設計 LLM 應用提示詞的方法,強調輸出要可重複、以提供的上下文為根據,並採用一致格式。方法建議把固定規則放在 system prompt,將每次輸入放在 user prompt,並以證據要求和 JSON schema 約束輸出。Dify 的視覺化工作流程建構器、企業級基礎設施、知識來源整合及 RAG pipelines,則用於在工作流程中實踐這套提示詞設計。
Dify 提出一套為工作流程設計 LLM 應用提示詞的方法,強調輸出要可重複、以提供的上下文為根據,並採用一致格式。方法建議把固定規則放在 system prompt,將每次輸入放在 user prompt,並以證據要求和 JSON schema 約束輸出。Dify 的視覺化工作流程建構器、企業級基礎設施、知識來源整合及 RAG pipelines,則用於在工作流程中實踐這套提示詞設計。
Dify 支援用戶建立 AI 應用,涵蓋聊天機械人、Agent、文字生成器、Workflow 及 Chatflow,並可選用不同模型供應商。Dify cloud 提供 200 個免費訊息額度,供用戶試用 OpenAI、Anthropic(Claude)、Google(Gemini)及 xAI(Grok)。
企業 AI 概念驗證往往卡在示範可行與日常、可靠、大規模投入業務運作之間,因為它們通常只為展示而建,未按正式運行要求設計。文章提出將 AI 工作流程投入正式環境的五階段框架,重點包括從一開始便兼顧可運行性、分離業務邏輯與技術實作,以及以機構知識支援工作流程。
Dify 以 LLM 編排平台協助行銷團隊把提示詞轉為可重複執行的 AI 工作流程,並在流程中串接模型、知識庫、外部 API、邏輯步驟及人工審核。文中列出多渠道內容生成、潛在客戶評分與分流,以及行銷知識庫三種應用。Dify 適合需要依既定步驟和邏輯執行的自動化,聊天助手則適合一次性任務。
Dify 在 Marketplace 上推出 MongoDB Atlas 和 Voyage AI 兩款插件,讓用戶在工作流程和 Agent 中直接連接 MongoDB 數據,並進行語義檢索及結果重排序。MongoDB RAG 範本展示了以 Voyage AI 將查詢轉為嵌入向量、透過 Atlas Vector Search 搜尋文件,再以 Voyage AI 重排序的流程。
企業 IT 團隊應把重點放在建構可管理的 AI 應用,而非從零打造底層平台,並由現成平台提供共用基建。2025 年有 42% 的企業放棄大部分 AI 項目,平均有 46% 的概念驗證未能進入生產階段。Dify Cloud 提供 LLM、內置 RAG、視覺化工作流程及可觀測性,並設有免費 Sandbox tier。
Dify 的入門指南示範如何匯入文件建立知識庫,設定分塊、索引與檢索方式,再連接至「Chat with Your Documents」模板。指南建議採用 General 分塊、High Quality 索引及 Vector Search,並以 OpenAI 的 text-embedding-3-small 作為嵌入模型的入門選擇。
Chroma Research 評估在嵌入向量上套用線性轉換,以提升檢索準確度的做法。只調整查詢嵌入向量,使用最少 1,500 組已標註的查詢與文件配對,檢索準確度較單獨使用預訓練嵌入模型最高提升 70%。從未標註為相關的文件中隨機抽取負面例子已足以達成改善,有助降低標註成本。
Chroma Research 提出以 token 為單位評估 AI 檢索表現的方法,並用生成及篩選所得的查詢與相關摘錄,按 precision、recall 和 intersection-over-union 衡量檢索結果。
Chroma Research 提出一套生成式基準測試方法,先篩選與用戶情境相關的文件,再根據情境和範例查詢生成測試查詢,以評估檢索系統。研究在 9 個公開數據集及 Weights and Biases 的 WandBot 生產資料上測試,生成查詢大致保留嵌入模型的相對排名;在 WandBot 案例中,相關檢索指標亦較接近真實查詢。團隊並提供完整程式碼,供用戶為自己的數據建立基準。
Chroma 訓練並公開 Context-1,一個以超過 8,000 項合成任務訓練的 20B 參數搜尋智能體,模型權重採 Apache 2.0 授權。Context-1 會把高層問題拆成子查詢並多輪搜尋,按相關性修剪檢索內容;研究稱其檢索表現可與前沿模型相比,推理速度最高可達 10x,成本較低。Chroma 亦公開合成任務生成流程的完整程式碼,以支援重現和後續研究。
這份技術指南説明如何將檢索系統分為候選生成與相關性排序兩個階段,先提高召回率,再提升精確度。指南以向量索引或 BM25 生成 Top-N 候選,經 LLM 重排序後選出 Top-k,並提出相關架構、延遲目標及評估指標。評估標準包括 200 條條款查詢的召回率至少 0.85、95 百分位延遲不高於 150 ms,以及 Precision@k 至少 0.78。
文章以 Go 示範近似重複客服工單的三段式相似度閘門,將工單判為新工單、送交人工審核或重複項目。方案要求固定嵌入與正規化流程、限制候選集,並以標註樣本校準閾值;相似度只作排序訊號,不能證明工單描述同一事件。文章亦建議記錄版本、分數與審核結果,監察重複證據、不同事件覆蓋率及審核積壓,以免錯誤抑制影響檢索增強生成。
作者選擇以 Node.js 建構新聞監測檢索,結合持久向量索引與即時搜尋,並讓兩條路徑共用證據契約以保留可核查的引用。三項可觀測性檢查包括檢索召回率與精確率、引用覆蓋率,以及按檢索模式拆分的新鮮度延遲。
現代 AI 開發已不再只是調整提示詞,而是把 AI 整合到可擴展、具韌性的軟件系統中。文章指出,開發重點包括以 RAG、向量資料庫和上下文窗口管理做好上下文工程,以及建構能拆分任務、執行命令和重試的 AI 智能體。針對特定技術堆疊,經微調的小型開源模型也正成為選擇,可在本地或專用雲端執行。
生產環境中的 RAG 可透過 CDC、webhook 或輪詢偵測來源變更,再以增量索引、刪除標記及資料新鮮度 SLA 維持索引與來源同步。文件版本資料(source ID、checksum、timestamp 及 embedding model version)可用來判斷只更新 metadata、重新嵌入或重新分塊;還要監察同步延遲、刪除傳播、快取失效和故障恢復。
Node.js 向量搜尋應以請求級期限限制檢索時間、預留回應組裝時間,逾時時回退至詞彙檢索或相容快取,並明確標記降級狀態。可用 AbortController 取消向量呼叫,但需確認資料庫客戶端會遵從取消訊號;父請求取消時則應停止兩條檢索分支,而非回傳降級結果。文章建議分開監測期限耗盡、降級比例和延遲,並以人工評估查詢的召回率與資料新鮮度作為品質護欄。
ESTsoft 獲 Jeju Free International City Development Center(JDC)合約,為其建置內部生成式 AI 語言模型及業務支援平台。
Node.js 內部工程文件檢索應採用分階段架構,並把文件版本管理納入檢索契約,避免模型根據過時文件生成答案。流程分為變更正規化、限時檢索候選文件,以及按版本重新排序或篩選並附上來源脈絡;每個階段都設有請求時限、命中數上限及重試預算。移除的文件須明確標記刪除並移除其文本區塊,評估則應追蹤召回率、引文覆蓋率及選中舊版本答案的比率。
文章説明,RAG 知識庫的分塊邊界會影響檢索結果能否包含完整答案及足以支持引用的上下文。建議用同一組標註問題比較固定長度、標題感知,以及保留完整程序或表格的切分方式,並按生產環境實際返回結果數評估答案涵蓋率、引用充分性、重複結果率和索引大小。文章亦指出,改用向量服務本身不會修正不合適的切分策略。
在 6 GiB RTX 3060 Laptop GPU 上以 Ollama 比較 Qwen3 4B 和 0.6B,0.6B 的生成速度約快 3 倍,4B 則通過全部 6 項文件檢查,0.6B 通過 4 項。兩者的整張 GPU 峯值記憶體分別為 3.12 GiB 和 1.04 GiB;這是單一筆電上的探索性測試,不能據此判定整體準確度。
RAG 透過先從外部來源檢索相關資料,再交由 LLM 生成回答;文章亦説明這種架構的適用情況。文中拆解資料準備、檢索、分段、權限控制與評估等環節,指出 RAG 不保證檢索結果正確,也不會自動消除模型幻覺。作者檢視自己的教育應用後,決定先修正已知學生資料的上下文組裝,暫不加入文件檢索;改動的消耗、延遲、完整度和忠實度仍需透過對照案例評估。
旅遊行程規劃器應採用分階段檢索,明確指定資料集、限制查詢範圍,並按行程決策設定分塊邊界,讓答案連同可追溯的來源脈絡呈現。文章建議先以小型標註資料集測試,再投入正式環境;檢索單位應保留相關行程條件,避免把例外規定與其限制的時間表拆開。
排查 Go RAG 引用指向錯誤頁面的核心,是確認引用文字、位元組偏移量、頁碼及文件版本均來自同一次解析。文章建議由同一份解析結果產生分塊與引用中繼資料,驗證通過後再切換索引,並保留舊版本供回滾。每次更改解析器或分塊器後,應抽查十條引用,並核對文字雜湊值、來源頁碼及文件版本;檢索結果正確不代表引用座標正確。
文章建議以分階段檢索、明確集合和有界查詢,設計 Node.js 新聞監測服務的 RAG 合約,平衡爬取範圍、分塊與資料新鮮度,並讓變更告警保留可追溯來源。合約應回傳候選段落、穩定文件 ID、來源 URL 及租戶和存取中繼資料;檢索時先按租戶、文件時間及存取權限篩選,再把 URL、文件 ID、爬取時間和區塊位置附於告警。
Cohere 發佈企業檢索模型 Rerank 5,提供 Pro 與 Fast 兩個版本,並新增 Context Focus,從文件中定位相關文字段落。Rerank 5 Pro 在評估的 46 個複合數據集中有 39 個排名第一、43 個至少排名第二;Fast 面向對延遲和成本敏感的工作負載。
作者比較 GraphRAG 與 LLM Wiki 後認為,小規模知識庫可先採用 LLM Wiki,資料量大且關係複雜時則應考慮 GraphRAG。兩者都用 LLM 將原始資料蒸餾成較高層次的知識,但分別組織為按實體、關係和社羣構建的圖,以及按目錄、索引頁和文件連結組成的 Wiki。
作者比較 GraphRAG 與 LLM Wiki 兩類 LLM 知識庫,指出兩者都以 LLM 將原始資料蒸餾為更高層次的知識表示。兩者共同面對生成內容錯誤、知識過時、來源脈絡流失及難以按特定用途評估等問題。作者認為小規模起步可先選 LLM Wiki,因 Markdown 較易閲讀和修改;資料量大且關係複雜時,則應考慮 GraphRAG。
Node.js 醫療預約檢索指南建議,以單一回應時限約束檢索與重排,只處理期限內到達的證據,並在答案中保留來源 URL 或文件 ID。指南建議按問題意圖選取檢索路徑,只有預留時間足夠時才重試;遇 HTTP 429 時遵從 Retry-After 並採用指數退避。索引更新應以來源修訂版本為完成單位,移除已刪內容後才啟用新版本,避免過期資訊繼續被檢索。
作者以 12 條問題測試包含 741 個區塊的索引,正確文章有 10 次排第一;兩個未命中案例中,一個可能是標籤過窄,另一個看來是真正的檢索失誤。每篇文章限取一個區塊,令正確文章進入前 5 名的次數由 10 次增至 12 次,但對已答對的問題,正確文章在前 5 名的區塊平均由 3.8 個減至 1 個。作者認為這是取捨而非修正,並提醒 12 題的結果只是粗略參考。
提示詞注入攻擊透過用戶輸入或檢索內容中的指令,誘使大語言模型偏離預期行為,並可能導致資料洩露或未授權操作。文章建議把外部內容視為資料而非指令,配合內容隔離、最小權限、政策檢查及高風險操作的人手審批。RAG、MCP 及智能體流程還應保留來源資訊、收窄權限並在伺服器端執行政策驗證,且在上線前及重大變更後進行濫用測試。
ClearPath Security 説明一套面向客戶聊天機械人的 AI 紅隊測試方法,涵蓋系統範圍、風險排序、受控測試和修復後重測。方法要求先界定使用渠道、資料來源、工具和信任邊界,再按資料外洩及未經授權操作等業務影響排列測試優先次序。測試應使用專用帳戶、完整記錄和回滾方案,並在模型、提示詞、RAG 資料或工具有重大變更後重測。
RAG 系統先從文件中擷取文字、切分文本並建立嵌入向量,再以語義搜尋找出相關內容,交由語言模型根據文件資料生成答案。項目使用 all-MiniLM-L6-v2 產生 384 維嵌入向量,並以 ChromaDB 儲存資料;切分設定約為 220 個 token,每段重疊 45 個 token。實作經驗指出,檢索品質與生成同樣重要,各個處理環節都應獨立測試。
志願者項目 WikiProject AI Cleanup 於 2023 年成立,旨在找出並移除違反維基百科指引的 AI 生成內容,現正開發工具辨識更隱蔽的機器生成文字。
NVIDIA 擴充 Nemotron Retriever 系列,推出 Nemotron 3.5 Embed、Rerank 和 Parse 開放模型,涵蓋多模態檢索、相關性重排及文件擷取。
RepairSloth 是一款以本機運作為主的 AI 家電故障排查助理,讓用戶上載洗衣機照片並描述症狀,以取得附有佐證的故障排查指引。項目以 Ollama 在本機運行 Gemma 3 4B,並採用開源技術堆疊,讓用戶和開發者檢視及自訂排查流程。AI 建議只代表可能原因;電器工程、內部維修等危險工序應交由合資格技術人員處理。
NVIDIA 擴展 Nemotron Retriever 系列,推出可商用的開放模型 Nemotron 3.5 Embed、Nemotron 3.5 Rerank 及 Nemotron 3.5 Parse,涵蓋多模態檢索、重排及文件抽取。
推薦理由:這次更新把多模態嵌入、重排與文件解析納入同一檢索系列,並列出多項基準與吞吐數據,呈現準確度和部署效率的取捨。
GraphRAG 以較高的前期抽取成本,換取跨文件多跳推理及可追溯的來源脈絡;Vector RAG 則適合低風險的單文件查詢。GraphRAG 的圖譜抽取需要定期更新,會帶來持續成本,但社羣摘要可減少每次查詢的綜合成本。文章建議在企業架構中結合向量索引與知識圖譜,以應對需要跨越 3 個或以上跳轉的查詢。
企業 LLM 評估系統應涵蓋 LLM-as-a-Judge 偏差、RAG 指標計算及非確定性系統的回歸檢查。文中建議對調 A/B 答案並採用不同架構的評審模型,另以 Faithfulness 和 Context Precision 衡量答案對上下文的忠實度及檢索排序。測試集可由 80% 合成案例與 20% 生產環境負面回饋紀錄組成;CI 回歸檢查則用配對任務、預設非劣效界限及信賴區間評估。
文章梳理 AI Agent 工程由提示詞工程、上下文工程、Harness 工程演進至循環工程的四層控制架構。四層由外至內相互嵌套,分別處理任務生命週期、執行約束、資訊選取和指令表達;循環工程並要求設定可客觀判定的目標、獨立檢查、迭代上限、預算上限及無進展檢測。文章亦把常見故障症狀對應至可能出問題的層級及建議處理方式。