數據科學家的反擊:LLM 時代評測仍需要數據科學方法
Hamel Husain 認為,LLM API 雖讓團隊可自行整合 AI,評測、實驗設計和生產監測仍需要數據科學方法。文中列出五類評測陷阱,包括套用通用指標、未驗證 LLM 評審、測試集設計不當、數據及標籤質素欠佳,以及過度自動化。作者建議檢視 traces、以人工標註驗證評審,並根據真實生產數據設計測試集,讓領域專家參與標註。
Hamel Husain 認為,LLM API 雖讓團隊可自行整合 AI,評測、實驗設計和生產監測仍需要數據科學方法。文中列出五類評測陷阱,包括套用通用指標、未驗證 LLM 評審、測試集設計不當、數據及標籤質素欠佳,以及過度自動化。作者建議檢視 traces、以人工標註驗證評審,並根據真實生產數據設計測試集,讓領域專家參與標註。
文章介紹一套以 AWS 原生託管服務為主的架構,整合多個 AI 智能體與搜尋資料儲存庫在生產環境中的品質管理。架構以 OpenTelemetry Trace 為共同追蹤單位,結合 AgentCore Evaluations 同時評估智能體回答品質與搜尋品質,並據此定位問題、更新評估數據集及重新通過品質閘門。
Google 於 2026 年 3 月 10 日以公開預覽形式發佈基於 Gemini 架構的首款多模態嵌入模型 Gemini Embedding 2。模型可處理文字、圖片、影片、音訊及 PDF,並將內容映射至統一嵌入空間,支援 100 多種語言及單一請求混合多種模態。
Inception Labs 發佈 Mercury 2 推理語言模型,透過擴散模型並行修訂生成回應,主打低延遲推理。官方列出其在 NVIDIA Blackwell GPUs 上達 1,009 tokens/sec,並稱生成速度提升 >5x;價格為 $0.25/1M input tokens、$0.75/1M output tokens。
MySQL 9.6.0 推出多項伺服器與 HeatWave 更新,Fujitsu Enterprise Postgres 18 亦以 PostgreSQL 18 為基礎發佈。
文章以 Python 3.13 和 CrewAI 1.8.1 示範如何構建多智能體 AI 工作流,介紹 Agent、Task、Crew 等基本組件,以及順序式與階層式流程。內容亦示範以 SerperDevTool 進行搜尋,並介紹 CrewAI CLI、YAML 設定、Memory 和基於 RAG 的 Knowledge。文末提及正式環境的存取控制、監察、記錄及成本管理考量。
SearchBlox 將 Inception 的 Mercury dLLM 整合至 SearchAI 的 RAG 流程,為企業搜尋提供低於 1 秒的 GenAI 回應。Mercury 令推理成本降低 60% 至 90%。客户可在 AWS Bedrock 或 Azure Foundry 部署 Mercury,數據不會離開其私有雲實例。
eplus 將服務1,900萬會員的會員管理系統遷移至 OCI 上的 MySQL HeatWave,應對售票高峯期間的系統負載與處理延遲,並降低成本。
Gemini API 已將 File Search API 開放至公開預覽,讓開發者可用自有資料為回應提供依據。
Google 發佈 EmbeddingGemma,一款支援 100 多種語言、具備 308M parameters 和 2K context window 的多語言嵌入模型。文章示範以 Sentence Transformers、LangChain 等工具接入模型,並在 MIRIAD 醫療檢索測試中將微調版的 NDCG@10 提升至 0.8862,基礎模型為 0.8340。
推薦理由:文章提供 EmbeddingGemma 接入多個檢索框架的程式示例,並説明查詢與文件提示詞的設定方式,方便將模型納入既有檢索流程。
Blue J 結合 GPT‑4.1 與專有税務資料庫,在兩年內將税務研究引擎擴展至美國、加拿大和英國,服務超過 3,000 間企業。用戶每週平均節省 2.7 小時,答案被標記為不同意的比率低於 1/700。公司以涵蓋 350 多個提示詞的基準套件評估新模型。
OpenAI 的 File search 指南説明,Responses API 可透過語義與關鍵詞搜尋,從已上傳檔案的知識庫檢索資訊。指南示範先建立 vector store 並上傳檔案,再將 file_search 加入可用工具;此工具由 OpenAI 託管,模型決定調用時會自動搜尋檔案並返回結果。
OpenAI Developers 歸納出七項 LLM 應用延遲優化原則,涵蓋 token 處理、減少請求、並行執行、改善用户等待體驗及避免不必要地使用 LLM。
OpenAI 提出提升 LLM 正確性與行為一致性的優化框架,建議先透過評估診斷失誤,再按問題選用提示詞、RAG 或微調。在冰島語校正測試中,GPT-4 零樣本的 BLEU 為 62,加入 3 個 few-shot examples 後為 70;以 1000 個例子微調 GPT-4 後為 87,再加入 RAG 則降至 83。
OpenAI Developers 提供一套面向開發者的 AI 應用開發學習路線,按四階段涵蓋基礎概念、應用開發、測試與評估,以及規模化和維護。內容介紹如何透過 Responses API 或 Agents SDK 建置智能體,並説明 RAG 用於引入知識、微調用於調整模型行為,以及用 evals 和 guardrails 測試與約束應用。
Hugging Face Blog 示範如何使用 Sentence Transformers 訓練及微調稀疏嵌入模型,介紹 SPLADE、Inference-free SPLADE、CSR 架構,以及資料、損失函數、評估器和訓練器的配置。
推薦理由:文章按 SPLADE、Inference-free SPLADE 與 CSR 的適用情境梳理架構選擇,並以實作例子串連資料、損失函數和評估器配置。
Mistral AI 發佈首款程式碼專用嵌入模型 Codestral Embed,面向真實程式碼檢索。官方稱其檢索表現優於 Voyage Code 3、Cohere Embed v4.0 和 OpenAI 的大型嵌入模型;採用 256 維、int8 精度時仍優於競品。
Mistral AI 發佈 Agents API,將內置連接器、跨對話記憶及智能體編排整合為構建 AI 智能體的框架。內置連接器涵蓋代碼執行、網絡搜索、圖像生成、Document Library 及 MCP 工具;啟用網絡搜索後,Mistral Large 和 Mistral Medium 在 SimpleQA 的分數分別由 23% 和 22.08% 升至 75% 和 82.32%。
推薦理由:Agents API 把內置連接器、跨對話記憶和多智能體編排納入同一框架,並以 SimpleQA 數據呈現網絡搜索前後的分數差異。
ChatGPT 可連接 Google Drive,使用其中的內部知識,並結合相關上下文回答問題。
AI 結合 MBTI,為企業員工溝通與管理提供個人化策略,並可配合 RAG 技術,按員工性格及即時溝通情況調整建議。應用包括分析溝通模式、提供個人化績效回饋,以及改善會議安排和團隊協作。文章指出,AI+MBTI 的應用仍處於早期階段,未來或延伸至跨文化溝通及結合其他心理模型。
AI結合MBTI,按員工的性格特點提供個人化溝通建議,並協助改善團隊協作。結合RAG後,系統可檢索歷史內部溝通資料,並按MBTI類型及情緒分析調整溝通方式和建議。
OpenAI Developers 的 cookbook 示範以 Responses API 建立 RAG 多工具工作流程,按查詢將請求路由至內置工具或外部工具。示例結合內置網絡搜尋與 Pinecone 向量資料庫檢索,並展示先搜尋網頁、再查詢 Pinecone,將工具結果交回 API 生成答案。
Mistral AI 推出 Mistral OCR 文件理解 API,可解析圖片與 PDF,並抽取文字、圖像、表格及公式。API mistral-ocr-latest 已在 la Plateforme 開放,每美元可處理 1000 頁,批次推理下每美元可處理頁數約增至兩倍;Mistral OCR 亦可在 le Chat 免費試用。
推薦理由:Mistral OCR 可解析 PDF、圖片中的表格與公式,並支援 JSON 輸出,展示文件接入 RAG 與 Agent 工作流的實際做法。
這項基準測試比較文字分類、文本嵌入及視覺嵌入的推理配置,估算處理 1B 筆輸入的成本與延遲。在 nvidia-L4($0.8/hr)上,三類任務每 1B 筆輸入的成本分別為 $253.82、$409.44 和 $44,496.51;測試程式碼見 https://github.com/datavistics/encoder-analysis。
推薦理由:三類實測呈現 GPU、batch size 與並行 VUs 對成本和延遲的影響,並提供可替換模型與硬件重跑的流程,供讀者估算自有配置處理 1B 筆輸入的開支。
Open Arabic LLM Leaderboard 2 更新阿拉伯語大語言模型評測基準,移除飽和及機器翻譯任務,採用原生阿拉伯語或人工翻譯基準。
Answer.AI 與 LightOn 發佈 ModernBERT,提供 base(149M params)及 large(395M params)兩種僅編碼器版本。
推薦理由:文章將 ModernBERT 的架構、效率與訓練改動連結至長上下文檢索及程式碼檢索場景,呈現編碼器更新對實際應用的意義。
Answer.AI 與 LightOn 發佈 ModernBERT,提供 149M params 的 base 和 395M params 的 large 兩種 encoder-only 模型。
antirez 宣佈重返 Redis 生態系統,並表示希望以兼職形式協助公司與社羣溝通及 Redis 核心發展方向。他正以有序集合為靈感,從頭重寫 HNSW,製作向量集合的概念驗證,並展示 VSIM、VADD、VCARD 等命令;目前仍處於早期階段。他認為社羣分裂並非主要源於授權轉換,並希望新授權能令開發重心回到 Redis 核心。
Ollama 現已提供部分 IBM Granite 3.0 模型供用戶執行,所有模型均採用 Apache 2.0 授權。Granite 2B、8B 是純文字 Dense LLM,使用超過 12 trillion tokens 訓練;1B、3B MoE 模型使用超過 10 trillion tokens 訓練,面向低延遲推理,適合裝置端部署或需要即時推理的情境。
Bespoke Labs 開發的事實核查模型 Bespoke-Minicheck 現已可在 Ollama 使用,可核對其他模型生成的回應,以偵測並減少模型幻覺。模型會將生成內容中的 Claim 與來源 Document 核對,並按文件是否支持該主張輸出 Yes 或 No。它尤其適用於檢索增強生成(RAG)應用,可在後處理階段檢查回應是否根據提供給 LLM 的檢索內容。
HuggingChat 推出 Community Tools,讓使用者可把 Hugging Face 上的公開 Space 轉成模型可直接調用的工具。這些工具可用於理解圖片、生成影片或文字轉語音,也可建立文件 RAG 工具。建立助手時最多可選 3 個工具;該功能目前仍屬實驗階段。
推薦理由:文章展示如何把公開 Space、自建 Gradio 工具和文件 RAG 接入 HuggingChat,並在助手中組合最多 3 個工具,提供從建立到配置的實操路徑。
Hugging Face Blog 示範如何用 distilabel 為 Argilla 2.0 技術文件建立 RAG 聊天機械人。流程包括從文件建立切塊與合成查詢三元組、微調領域嵌入模型、建立向量資料庫,並將 Gradio 應用部署至 Hugging Face Spaces。聊天互動會記錄在 Argilla,供持續評估與改進。
推薦理由:文章串起文件切塊、合成查詢三元組、微調領域嵌入模型、向量檢索與對話評估,提供一套可複用的文件問答 RAG 實作流程。
Banque des Territoires、Polyconseil 與 Hugging Face 完成 EduRénov 首階段合作,開發主權數據 RAG 工具以支援地方政府。EduRénov 旨在協助 10,000 項公立學校設施翻新工程,並在 5 年內實現 40% 能源節省。項目要求確保所用運算服務與模型的主權。
Lilian Weng 梳理 LLM 外在幻覺,即生成內容虛構且不以提供的上下文或世界知識為依據,並回顧其成因、評估與緩解方法。文章指出,預訓練資料可能過時、缺漏或有誤,而微調新知識亦可能增加模型產生幻覺的傾向。評估方法涵蓋檢索輔助事實核查、抽樣一致性和未知知識校準;緩解路線包括 RAG、Chain-of-Verification 及事實性微調。
Hugging Face 宣佈 Embedding Container for Amazon SageMaker 正式 GA,AWS 客户可在 SageMaker 部署嵌入向量模型,支援包括 RAG 在內的生成式 AI 應用。
Continue 聯合創辦人 Ty Dunn 分享如何在 Visual Studio Code 或 JetBrains 中配合 Ollama 設定開源 AI 編碼助手,支援程式碼補全與聊天。
DeepSeek 將 deepseek-chat 升級至 DeepSeek-V2-0517,IFEval Benchmark Prompt-Level 準確率由 63.9% 升至 77.6%。
Hugging Face Blog 示範以 Intel Xeon CPU 運行嵌入模型、以 Intel Gaudi 2 運行 LLM,並透過 LangChain、Redis 和 TGI 構建及部署企業級 RAG 應用。
Ollama 支援嵌入模型,並示範如何透過嵌入向量與相似度搜尋,建立結合文件資料的 RAG 應用。文中列出 mxbai-embed-large(334M)、nomic-embed-text(137M)及 all-minilm(23M),並提供 REST API、Python 和 JavaScript 的使用方式。
Jack Morris 介紹 vec2text,這套方法透過反覆生成及修正文本假設,從文字嵌入向量還原輸入內容。在 50 步迭代及若干技巧下,方法可準確還原 92% 的 32-token 序列,BLEU 分數達 97。研究指出,這使將文字嵌入向量存入向量資料庫的做法面臨原文外洩風險,並提出嵌入長度與防護方式仍待進一步研究。