Mercury 3 發佈，擴散式 LLM 推理速度達每秒 1,000+ tokens

今天，我們推出 Mercury 3，這是迄今推出能力最強的擴散式 LLM。在多項基準測試中，Mercury 3 的表現勝過 GPT-6 Luna 和 Claude Haiku 5.5，運行速度則快 4–8 倍，每秒可處理 1,000+ 個 token。

Mercury 3 證明文字擴散技術具備規模化能力。其規模比 Mercury 1 大 40 倍以上，智能大幅提升，速度卻同樣快。

早期體驗合作夥伴已使用 Mercury 3 提供語音及聊天支援、即時教學、數據工程和網頁瀏覽服務：

Mercury 3 概覽

• 品質：與 GPT-6 Luna 和 Claude Haiku 5.5 等經速度最佳化的前沿模型相若或更佳。

• 速度：在 NVIDIA GPU 上每秒處理 1,068 個 token。 

• 上下文：1M 個 token，高於 Mercury 2.5 的 260K

• 價格：每百萬個輸入 token 收費 $0.20，每百萬個輸出 token 收費 $0.70。

  • 推出期間，Mercury 3 可享 50% 折扣，每 1M 個輸入 token 收費 $0.10，每 1M 個輸出 token 收費 $0.35。快取 token 的輸入價格可享 90% 折扣。

大規模擴展擴散技術

推出 Mercury 1 時，我們首次證明擴散式 LLM 可以用於商業應用。當時 AI 社羣仍有一個未解問題：擴散式 LLM 能否擴展至足以在複雜用途上與自回歸模型競爭？

Mercury 3 回答了這個問題：可以。我們將 Mercury 的總參數量擴大了 40 倍以上，而在多項標準基準測試中的智能表現，從 Mercury 1 (mini) 到 Mercury 3 提升了 3 倍。推動自回歸模型進步的規模定律，同樣適用於擴散模型。

Mercury 3 投入生產環境

早期體驗合作夥伴已使用 Mercury 3，支援對延遲敏感的應用，例如瀏覽器操作 Agent、互動式教育、即時搜尋 Agent 和客戶支援。

瀏覽器操作 Agent

Agent 每一步都要等待模型回應，因此即使是短暫延遲，也會迅速累積。無論 Agent 是瀏覽網站、搜尋多個來源的資料，還是分析日誌並追查事故，Mercury 都能讓每次處理保持快速。Agent 能更快完成任務，並有時間在回答前嘗試更多方法。

我們在正式環境的網頁 Agent 測試框架中，使用 Mercury 3 對照前沿模型執行 50 項 Mind2Web 即時瀏覽任務。Mercury 3 完成了其中 50%，明顯多於 GPT-6.1-Sol。它使用的 token 數量和 Agent 步數與前沿模型相同，每個 token 的成本卻低得多。

Shuhao Zhang，TinyFish AI 共同創辦人

互動式教育

學習依賴快速的回饋循環，任何延遲都會令學生難以投入教材。Mercury 會推理每項請求並近乎即時作出回應，無論是進行對話的語音導師、批改功課的助理，還是根據學生剛答錯的題目調整下一題的應用程式。

Mercury 3 讓我們能即時向每位學生提供回饋，同時保留推理能力。提示、批改後的答案和定義現在約一秒便可送達，品質與我們以往使用的模型相若或更佳。學生遇到難題時，這種速度能讓他們繼續作答，而不是等待；而且我們可以直接以 Mercury 3 替換現有技術架構中的模型。

Michael Tong，General Learning（又稱 RevisionDojo）共同創辦人／CTO

即時搜尋 Agent

搜尋應用程式只要延遲幾秒，使用者便會覺得反應遲鈍。Mercury 3 的速度足以處理數十份文件，並在使用者仍然專注時作出回答。

在智能眼鏡上，等五秒才收到答案會令人覺得產品失靈。在我們對 Sense API 進行的測試中，Octen 搜尋只需約 80ms；瓶頸在於模型生成。就我們測試過的快速模型而言，Mercury 3 在速度和質素之間取得最佳平衡，中位數生成時間為 0.9 秒，中位數端對端回應時間為 2.2 秒。

Kuan Zou，Octen AI 創辦人兼行政總裁

客戶支援

客戶支援專員必須迅速回覆；對於受監管的企業而言，答錯的代價往往很高。Mercury 讓回覆保持自然對話風格，同時不犧牲準確性。

在 Lorikeet，我們協助業務複雜且受監管的企業，為客戶建立可透過語音、即時聊天和電郵提供服務的禮賓服務。在即時聊天和語音服務中，客戶需要快速回覆，但我們不能在準確性或妥善完成工作方面妥協。在初步測試中，Mercury 3 的延遲表現勝過其他模型，在評測和實際部署中的表現也更出色。

Michael Gribben，Lorikeet 技術團隊成員

即時產品系列

Mercury 3 是不斷擴展的產品系列中的旗艦模型，這些產品旨在實現即時 AI。

• Mercury Voice：Mercury Voice 專為語音應用程式對極低延遲的要求而設，並著重縮短取得首個回答詞元的時間 (TTFAT)，而不只着眼於端對端延遲。目前，Audivi AI、Altur 和 OpenCall 已使用它來運行代理。 

• Mercury Decide：Mercury Decide 是專為大量分類工作而設的決策模型。在 JevBench 和 LegalBench 等基準測試中，它的表現勝過 Jev。

開始使用

Mercury 3 即日起可在 Inception API Platform 使用，亦可透過 OpenRouter、Baseten 和 Vercel 使用。它相容於 OpenAI API，可直接整合至你現有的技術堆疊，毋須重寫。企業部署支援專用容量、自動擴展、合規控制，以及可設定的資料保留政策。

• 在即時聊天中試用 Mercury 3

• 試用 API，可免費使用 100 million 個詞元

• 閲讀 API 文件

• 企業評估：我們會與你合作，評估工作負載是否合適、設計評測，並在你的服務限制下測試效能。聯絡我們。

Mercury 3 已正式推出。擴散技術具備規模擴展能力。