Cohere North:公用事業採用 AI 須兼顧能力與管控
Cohere North 可部署於公用事業機構的安全範圍內,讓機構在受控環境中處理工程文件、資產紀錄及內部營運知識,並自行決定 AI 可存取的資料和獲授權的操作。文章建議 AI 項目先界定工作流程、衡量成效、驗證建議並設立問責機制,再逐步擴大智能體的權限。
Cohere North 可部署於公用事業機構的安全範圍內,讓機構在受控環境中處理工程文件、資產紀錄及內部營運知識,並自行決定 AI 可存取的資料和獲授權的操作。文章建議 AI 項目先界定工作流程、衡量成效、驗證建議並設立問責機制,再逐步擴大智能體的權限。
n8n 的指南介紹如何在 AI 智能體工作流中分層檢測模型幻覺,並根據檢查結果安排後續處理。方法包括核對回答是否受上下文支持、對照權威外部來源,以及利用自我一致性和語義熵識別需要進一步審查的輸出。n8n 工作流可將可疑結果送往額外驗證、重試、錯誤處理流程或人工審核,執行記錄則有助追查模型輸入、檢索內容和後續操作。
Cohere 發佈 Rerank 5,提供 Pro 和 Fast 兩個版本,加入可返回文件內相關段落的 Context Focus,以及校準相關性分數。兩個版本均支援 32K token 上下文窗口和 100 多種語言,API 價格分別為每 1M tokens $0.05 和 $0.02。
評估 AI 安全訓練平台時,應先測試挑戰評分器會否在未完成攻擊時仍給分,再確認 Medium 與 Hard 是否採用不同防禦,而非只加長系統提示詞。文章以 AI Training Dojo 為例,指每個挑戰均為每位用戶配置獨有 secret token,並建議檢查平台是否提供 RAG 和工具調用實驗室。可遷移的是技巧類型而非提示詞字串,作者建議在自家 staging endpoint 重複測試。
文章説明 Go 微服務如何在 LLM 工具分派邊界防範間接提示詞注入,透過明確的工具白名單、參數約束和會話權限檢查控制函式執行。注入指令可能藏於 RAG 檢索片段、資料庫資料或工具回應;文章建議在內容加入模型上下文前先清理或加上分隔標記,並在每個工具邊界重新驗證參數。派送日誌應記錄參數雜湊而非原始值,並監察異常工具呼叫。
LASAGNA 研究以開源框架評估不同規模的 RAG 流程,發現單項技術的收益未必能預測組合後的檢索品質、答案忠實度或大語料表現。研究測試 8 個基準上的 450 種配置,涵蓋 5K 至 200K 份文件;三種檢索技術預計組合提升 +47%,實際合用僅提升 +17%。研究亦發現,提升檢索品質與答案忠實度可能需要不同組合,且最佳組合會隨語料規模改變。
HealthyCropping 是一款開源、非商業的 Android 應用程式,利用 React Native 和裝置端 MobileNetV3 TFLite 模型離線偵測咖啡、可可及香蕉病害。
Sarvam AI 介紹其為企業智能體構建的 Knowledge Fabric,透過知識樹與領域本體整理跨文件資訊,讓智能體導航、查詢及引用。在 Harvey LAB 測試中,GLM 5.3 配合該系統的專家評分標準達標率為 84.2%,高於 agentic RAG 的 55.1%,每項任務成本為 $0.28。
AI 推理會持續留下後端數據,令儲存成本隨推理規模增加,卻常在基建規劃中被忽略。WD 的內部測量顯示,一段 8 秒、以 3.97MB 720p 檔案交付的影片,在後端留下逾 500MB 數據,是輸出檔案大小的 130 倍。企業需按 AI 數據生命週期規劃儲存,兼顧效能、容量及總持有成本。
這篇教學示範如何以 pgvector 在現有 Postgres 資料庫內建置 RAG 檢索,並在同一 SQL 查詢中處理向量搜尋、權限與 metadata 篩選。
Embedding 將文字語義轉成多維浮點向量,向量間距可反映語義相似度,並支援搜尋、推薦、分類及聚類。OpenAI 的 text-embedding-ada-002 輸出 1536 維向量;文章亦説明以 Embedding 建立本地知識問答系統的流程,包括準備資料、分塊、向量化及儲存。文中列出 GPT-3.5 的 token 上限為 4K,GPT-4 則為 32K。
混合搜尋與重排序可提升 RAG 系統的檢索準確度,文章説明兩者的基本原理及其作用。向量檢索擅長語義匹配,關鍵字搜尋則適合精確匹配名稱、縮寫及代碼,混合搜尋結合兩者優勢;文章亦討論開發生產級 RAG 應用的複雜性。
Dify.AI v0.3.31 改進 RAG 技術,測試顯示檢索命中率提升 20%,並在比較中展現優於 OpenAI Assistants API 的表現。更新加入混合搜尋、語義重排序模型及多路檢索;Ragas Score 上升 18.44%、Context Precision 提升 20%,Faithfulness 提升 35.71%。
Dify 提供開源產品,支援自助託管、多模型及 RAG,並透過 API 和程式碼擴展功能。用戶可按預算、用途和語言需求切換模型,並選擇向量資料庫及索引策略;自助託管亦讓敏感資料留在自行部署的伺服器上。
Dify.AI 將 Jina Embeddings 模型整合至 Dify 平台,讓用戶可在 RAG 應用中使用 jina-embeddings-v2。該模型支援 8,192 tokens 上下文,文章指出,多數開源模型只支援 512 tokens。Jina Embeddings 可在 Dify Cloud 和 Community Edition 使用。
Dify.AI 的 Annotation Reply 功能可讓團隊編輯歷史對話或匯入問答資料,並優先以標註回覆處理相似問題。系統透過獨立的 RAG 機制匹配問題,命中後直接返回標註回覆,不必調用 LLM 或知識庫 RAG,可減少 token 消耗及延遲。累積的問答對亦可按需匯出,用於模型微調。
Dify 改造架構,推出模組化 Beehive 架構,並啟動首個服務模組 Model Runtime,以提升彈性和擴展能力。新架構讓各組件可獨立開發、測試和部署,並支援水平擴展;Model Runtime 為不同模型提供統一介面,採用 YAML 配置,並可在後端完成模型設定,毋須修改前端。
Dify 發佈 v0.6.11,整合 Firecrawl 作為知識庫的網頁資料來源,可擷取網站並將資料處理後嵌入向量資料庫,供 RAG 應用使用。用戶可設定子頁數量、爬取深度及路徑篩選;Firecrawl 雲端版提供 500 free credits(pages),亦有可自行部署並支援無限爬取及抓取的 OSS 版本。
Dify 將於 2024 年 9 月 1 日停用 N-to-1 檢索策略,改用 Multi-path retrieval,以提升應用程式的檢索效率。新策略支援重排、語義與關鍵字權重設定,並可整合 Cohere、Jina 等重排模型。屆時,所有用戶將自動轉用新策略。
Dify 推出 v0.15.0,引入 Parent-child Retrieval,透過較小的 child chunks 匹配查詢,再擷取包含它們的較大 parent chunks,為 RAG 提供更精準且具上下文的資訊。
Dify 宣佈以 beta 形式推出 Plugins,讓用戶透過插件為 AI 應用接入模型、工具、Agent 策略及外部服務。插件由五類核心組件構成,採用可獨立開發、部署和維護的套件架構,並支援 Marketplace 分發及本地調試。beta 測試雲端環境不可用於正式環境,所有測試資料會在正式發布前重設。
這份教學示範如何透過 Ollama 和 Dify Community Edition 本機部署 DeepSeek R1 7B,建立私人 AI 助理。內容説明如何加入知識庫以檢索文件,以及在 Chatflow 或 Workflow 加入 Web Search 節點。教學亦提供透過 SerpApi 啟用搜尋及處理 Docker 連線問題的步驟。
Dify 正式推出 v1.0.0,將模型和工具遷移至插件架構,並推出 Dify Marketplace。新架構讓插件可獨立於核心平台更新;Agent 節點配合 Agent Strategy 插件,為工作流和 Chatflow 提供 ReAct、Function Calling 等策略。
Dify 發佈 v1.1.0,加入以自訂中繼資料篩選知識檢索的功能,讓用戶按文件屬性篩選知識庫內容。中繼資料支援字串、數值及時間三種類型,篩選條件可自動從用戶查詢生成,亦可手動設定並以 And 或 OR 組合。此功能可用於提高檢索相關性及管理資料存取權限。
InfraNodus 透過分析知識庫的主要主題、概念關係和盲點,為 Dify RAG 補充整體脈絡,改善 LLM 回答開放式問題時的內容覆蓋。文章示範如何整理 PDF 或網站資料、生成分析結果,並將所得中繼資料加入 Dify 的提示詞。
Dify 教學示範如何把 InfraNodus 接入聊天機械人,從知識圖譜的結構缺口生成問題,並將問題納入問答工作流。問答可選用 InfraNodus GraphRAG,或由 InfraNodus 生成問題、再交由 Dify 原生 RAG 檢索內容並生成回答;文章説明圖譜整理、HTTP Request 節點和工作流測試部署。生成的問題亦可用作對話開場、內容探索或 AI Agent 腦力激盪提示。
Dify 1.5.0 更新工作流建構與除錯功能,支援自動儲存節點最近一次成功執行的輸入、輸出和 metadata,並可檢視及編輯工作流變數。開發者可直接逐步執行節點,系統會自動取得所需的上游資料,毋須重跑已成功的上游操作。
Dify 在 v1.7–v1.8 推出夏季更新,加入工具 OAuth 授權、工作流程改進,以及 LLM 節點提示詞優化和 Code 節點自動修復。更新亦支援多組 API keys、工作流程輸入預設值及更準確的 token 用量統計,並提升執行速度與穩定性。Dify 計劃推出視覺化 RAG 數據處理流程,支援文字、圖片和表格等多模態資料。
Dify 推出 Knowledge Pipeline,以視覺化流程把企業非結構化資料轉化為供 LLM 使用的高質素上下文。流程涵蓋資料來源接入、解析、增補、切分、嵌入及載入,並提供七個內置模板。用戶可逐節點測試及查看輸入、輸出和中間變數,以排查解析、切分或中繼資料問題。
Dify 邀請具備數據處理專長的全球夥伴加入 Knowledge Pipeline 插件生態,共建企業級 RAG。開放式插件架構涵蓋連接器、數據匯入處理及儲存,讓企業按需要組合工具。Dify 開源版下載次數超過 2.4M,雲端服務覆蓋 120 多個國家和地區。
Dify 強調可靠的視覺化智能體工作流程,主張以工作流程協調智能體、模型與人類協作,而非依賴單一智能體處理所有任務。Dify 過去兩年一直建構開源、適合投入生產的 AI 平台,讓用戶由簡單工作流程逐步擴展至複雜邏輯。
Dify Marketplace 現已提供 Tavily 數據來源插件,讓用戶將即時網絡資料擷取並嵌入知識管道,以提升資料準確度並保持內容更新。Dify 示範以 Tavily 擷取説明文件、生成問答對並存入知識庫,供聊天機械人、智能體及工作流程等 Dify 應用使用。
Bright Data 的 Web Scraper 插件上架 Dify Marketplace,可把網絡上的即時結構化資訊接入 Dify Knowledge Pipeline,作為數據來源豐富知識內容。Dify Marketplace 現有 500+ 插件;用戶可安裝插件、設定 Bright Data 帳戶及 API key,並在 Dify 建立 Knowledge Pipeline。
Dify 原生整合以 Rust 構建的向量資料庫 Qdrant,為 AI 及知識型應用提供低延遲檢索、混合搜尋和可擴展效能。開發者可在 Dify 開源社羣版設定 Qdrant 作為向量儲存,並透過一次 API 呼叫實現混合搜尋。
Dify 的 Knowledge Pipeline 正式整合 TiDB Vector,讓處理後的知識可供下游 AI 應用重用,並以分散式向量儲存支援大規模檢索。TiDB Vector 支援 SQL 與向量混合搜尋,可先用 SQL 篩選結構化中繼資料,再進行語義檢索。開發者可透過 Knowledge Node 擷取知識庫內容,為 LLM 提供上下文。
Dify透過 Agent Node 工作流程實現 Agentic RAG,讓智能體分析用戶意圖、選擇工具和資料來源、改寫搜尋查詢,並評估檢索結果後重試或改用其他策略。這種迭代方式有助提升答案的依據和可靠性,但亦會增加延遲、成本和整體複雜度。
Dify 知識庫自 v1.11.0 起支援多模態檢索,可在 Workflow 應用中共同理解、檢索和使用文字與圖片。系統將圖片和文字放入統一語義空間,支援 Image-to-Text、Text-to-Image 和 Image-to-Image 檢索,並可從 Markdown 連結提取 JPG、PNG、GIF 圖片,大小上限為 2MB。
Dify 分享在 NVIDIA DGX Spark 上部署私有 AI Agent 的流程,透過本地模型推理服務連接 Dify,讓資料輸入、模型推理及應用輸出留在本地環境。文章列出 Docker、Dify 與 TensorRT-LLM 的部署設定,並説明如何連接模型、建立工作流及正式部署應用。
Dify 可將 InfraNodus GraphRAG 接入外部知識庫,供工作流程查詢圖譜中的語義匹配內容及概念關係。設定檢索時,建議將 Top K 設為 10、Score Threshold 設為 0.3;如只要直接匹配結果,則可保留預設的 0.5。
Dify 1.12.0 引入 Summary Index,為知識庫的每個分塊加入摘要欄位;摘要匹配時,系統會一併檢索共享相同或語義相近摘要的分塊。用戶可手動編輯摘要或透過 Service API 匯入;Community Edition 支援自動生成,Workflows 的 Knowledge Retrieval 節點亦可使用 Summary Index。