面壁智能把350億參數模型裝進手機,但端側AI落地仍只完成第一步
面壁智能的 MiniCPM-V 4.7 35B-A3B 模型可在 iPhone 18 Pro Max 上運行,在約 3GB 峯值記憶體下解碼速度達 20.51 token/s,進一步優化後超過 30 token/s。
面壁智能的 MiniCPM-V 4.7 35B-A3B 模型可在 iPhone 18 Pro Max 上運行,在約 3GB 峯值記憶體下解碼速度達 20.51 token/s,進一步優化後超過 30 token/s。
三星自研 Gauss 系列模型的身影出現在 One UI 9.5 首個 Beta 測試版程式碼中,其中包括 Gauss 4 E2B。相關名稱亦出現在支援 AI 智能體功能的 Personal Agent Core 和 Memory 應用中;Memory 應用會檢查裝置是否有 Gauss 模型檔案,並將 Gauss 4 E2B 與 Gemini Nano、Gemma 並列。
Sevren 推出 Embla 1,一款可完全在手機離線運行、每個 token 約啟用 1B 參數的 10B 參數 MoE 推理模型。Sevren 使用自家 Metal 實作在 iPhone 18 Pro 測得,處理 1,024-token 提示詞並輸出 256 tokens 需 1.77 秒,llama.cpp 則需 2.18 秒。
Edge0 開源 Edge0-145B、Edge0-120B,以及統一推理框架和部署工具,供開發者在個人電腦本地執行、評測或微調模型。Edge0-145B 有 145B 參數,文章報告其峯值記憶體為 29GB、解碼速度超過 80 tokens/s,並列出編碼、推理及指令遵循等基準成績。本地推理不產生相應的雲端模型 token 或 API 費用,資料可留在電腦,核心模型能力亦可離線使用。
推薦理由:文章拆解模型架構、訓練、載入與 CPU/GPU 排程如何配合推理框架,呈現大規模模型在個人電腦本地執行的設計方法。
Neykosa 團隊在 4 GB RAM 的 Galaxy A05s 上測試其只針對單一應用任務訓練的小型開源模型,模型可運行;同一整個應用測試中,庫存問題回答用時 4.25 秒,列印預覽後首次回合則為 13.4 秒。
Radical Numerics 推出 Omnii Defense 邊緣 AI 模型,稱該模型無需連接互聯網,便可識別天然及經 AI 工程改造的病原體。
Tether AI Research 於 2026 年 11 月 11 日發佈開放權重模型 QVAC BotPsy-0.8B,稱其在六項智能體基準中勝過所有參數量不超過 1.2 billion 的受測模型。
Nanbeige 4.2 3B 的 4-bit 量化版本可在 16GB MacBook Pro 上使用,但回應速度是作者測試過的系列中最慢。模型檔案大小為 2.1 GB,簡單文字問題約需兩分鐘,小型編碼任務則約需十分鐘思考;輸出表現不俗,亦能生成可用程式碼。
螞蟻靈波科技於2026年11月10日開源觸覺基礎模型 LingBot-Touch。模型以近5000小時真實觸覺數據訓練,統一磁觸覺、視觸覺及壓阻式三類感測訊號,生成可跨感測器、靈巧手、模型及任務重用的觸覺表徵。
螞蟻靈波近日開源面向機器人靈巧操作的觸覺基礎模型 LingBot‑Touch。模型以接近 5000 小時真實觸覺數據預訓練,兼容磁觸覺、視觸覺及壓阻式三類方案,並將異構傳感器原始訊號轉為可跨傳感器、靈巧手、動作模型及任務場景重用的標準化觸覺表徵。
面壁智能與 OpenBMB 社區發布 MiniCPM-V 4.7,35B-A3B 版本可在 iOS、Android 等系統以約 3GB 記憶體運行。團隊採用 MoE,讓大部分專家權重留在快閃記憶體,並以前瞻專家調度(LES)在前一層計算時預讀下一層可能用到的專家。
作者在 16GB MacBook Pro 上測試 K2 Horizon 3.7B,評估它處理文字問題及簡單編碼任務的表現。4-bit 版本大小約 2–3 GB,載入後使用約 4 GB RAM,具備 512k 上下文窗口,採用 Apache 2.0 授權。K2 Horizon 7B 的編碼任務約需 11 分鐘,超出作者納入測試的時間上限。
Underdog 展示以 32MB 語音模型 Woof 製作的遊戲,呈現模型在瀏覽器內生成語音的能力。Woof 有 31 million 個參數,開放下載;公司表示,模型可在大多數裝置上毋須連接互聯網運行。
淘寶旗下 MNN 團隊發佈並開源 MNN-Pocket-0.3B,模型在 iPhone 18 Pro 上透過 MNN 推理引擎完全離線運行,平均 Decode 速度約為 350token/s。
淘寶MNN團隊發佈面向手機應用的輕量語言模型MNN-Pocket-0.3B,參數約3億,峯值內存佔用低於300MB。在iPhone 18 Pro實測解碼速度達350token/s,部署體積為173MB。模型支持中英文,並開源多個訓練與部署版本,適配Metal、OpenCL及CPU後端。
淘寶旗下 MNN 團隊開源 MNN-Pocket-0.3B,並在 iPhone 18 Pro 上以 MNN 推理引擎完全離線運行,平均解碼速度約 350token/s。
Preferred Networks(PFN)於 5 November 2026 發佈開放權重翻譯模型系列 PLaMo 3 Translate,提供 0.8B 至 31B 四種規模,支援 53 種語言並可完全離線運行。
Preferred Networks(PFN)今日以開放權重形式發布翻譯專用大語言模型 PLaMo 3 Translate,提供 0.8B、2B、8B 和 31B 四種規模。
Momenta 發佈 R7 Ultra 世界模型,作為初代 R7 的增強版本,專門配套 XHEART X7 Ultra 大模型智駕晶片。相較 R7,R7 Ultra 的模型參數量及安全性能均提升 5-10 倍,並在模型內虛擬復刻路況,生成極端場景進行仿真試錯。X7 Ultra 晶片算力達 700TOPS,官方實測 NPU 利用率可達 98.7%。
NVIDIA 推出 Nemotron 3.5 Bolt E4B,這款模型共有 8 billion 參數、其中 4 billion 為有效參數,支援 64K 上下文窗口及約 35 種語言。測試者在 16GB MacBook Pro 上試用 4-bit 版本,模型能回答一般問題,亦能完成以 shell script 編寫的檔案字數統計工具。
Liquid AI 於 2026 年 10 月 27 日宣佈 LFM3,推出六款約 2B 參數的開放權重模型,全部由 LFM3-1.7B-Base 共用骨幹分支而成。
科大訊飛在全球1024開發者節發佈端雲一體訊飛星火X2.6,並推出其在教育、醫療及司法領域的產品與應用。內容未列出模型安全性或性價比的具體方案與數據。
Tiny GST 是一款在裝置上離線擷取印度 GST 發票結構化資料的 AI 模型,經 INT8 ONNX 量化後大小為 13.17 MB。模型在未見過的供應商版面上取得 64.2% entity F1,單價擷取達 84.6% F1,CGST 金額則達 100% F1,並可生成符合 TallyPrime 格式的 XML。
Block 推出全雙工語音模型 Dessa,能在説話時同步收聽用戶語音,並以笑聲、停頓和哽咽等方式呈現情緒。Block 稱,Dessa 完全以人類語音數據訓練,可在 M4 Max 及以上配置的 MacBook 本地運行。目前模型暫未開放試用,Block 正邀請安全研究者測試語音智能體欺騙人類的風險。
Recursive 發佈面向筆電使用的編碼模型 Flint,並表示 AI 在打造模型的過程中發揮了重要作用。Flint 的定位是本機編碼工具,但實際效能取決於硬件、設定及工作流程整合。開發者使用前應評估模型在自身項目上的表現,並查看硬件需求、私隱設定及使用條款。
科大訊飛發佈基於全國產算力訓練的端雲一體訊飛星火X2.6,並推出SparkAudio 1.0、具身多模交互技術、訊飛星帆WinWork數字員工平台及AIPC系列產品。
美股隔夜漲跌互見,納指跌2.6%、標普跌1.21%,大型科技股多數下跌;倫敦現貨黃金跌超2%,白銀跌超5%,布倫特原油升至每桶113美元上方。PHP兩項嚴重安全漏洞的修復補丁已發布,漏洞由研究人員藉助人工智能工具發現。科大訊飛發布訊飛星火X2.6,雲端及端側能力同步提升。
科大訊飛發布端雲一體星火 X2.6,稱首次基於全國產算力實現程式碼及智能體能力突破。長程任務動態並行訓練令超長上下文訓練效率提升約4倍,整體效率提升4.5倍。模型應用於教育、醫療及法律等領域,訊飛曉法可令整體辦案效率提升45%以上。
訊飛星火發佈 X2.6 端雲一體大模型,並開源 X2.6-4B 端側模型;官方稱 X2.6 基於全國產算力完成訓練。X2.6 採用 293B-A30B 參數的 MoE 架構,上下文長度擴展至 1M,官方稱其代碼與智能體能力達到業界一流水平。
SparkLLM 發佈 Spark-X2.6-4B,並表示後訓練提升了編碼、Agent 工作流程、長上下文、多語言使用及推理能力。在思考等級設為 high 的公佈評測中,BFCL-V4 由前代的 65.1 升至 71.8,MCP-Atlas 由 54.6 升至 62.4,SWE Verified 由 41.6 升至 62.8;各基準排名不一,數據由發布團隊提供。
Nvidia 推出 Nemotron 3.5 Super VL 及兩款 Bolt 開放權重模型,分別面向企業智能體,以及本機 AI PC 和工作站部署。Super VL 有 120 billion 個參數;Nvidia 稱它的參數少於 Nemotron 3 Ultra,但在指令遵循和工具使用任務上的準確度相若。
PrismML 推出 Ternary Bonsai 2 系列模型,提供 2B、4B 和 9B 三種規模,目標是在手機、PC 及穿戴式裝置上本地運行 AI 智能體。
英偉達發佈開放多模態模型 Nemotron 3.5 Super VL,總參數量 1200 億、激活參數 120 億;英偉達稱,其單 GPU 智能體任務吞吐量最高可達同規模其他開放模型的 5 倍。
LFM2.5-24B-A2B 面向裝置端智能體,在裝置端比同類 MoE 快至 1.7×,於 Apple M5 Max 達 184 tokens/s,單張 NVIDIA B300 GPU 的輸出速度則達 21K tokens/s。它在 AutomationBench 表現突出,但評論者指出,該基準測試的評測內容未獲説明,模型在其他基準測試的得分則與其他本地模型相近。
Liquid AI 發佈開放權重推理模型 LFM2.5-24B-A2B,面向筆記簿型電腦及 PC 上的智能體;這款 24B MoE 每個 token 約啟用 2B 參數,支援 131,072-token 上下文窗口。
Google DeepMind 與新加坡 GovTech 公佈裝置端詐騙偵測模型,偵測到操縱性對話時會在手機即時發出警示,毋須把私人訊息傳送至雲端。模型以本地詐騙對話微調 Gemma,並採用兩階段流程,由輕量分類器篩查訊息,再由 Gemma 評估較完整的對話。微調在 GovTech 管理的 Google Cloud Platform 環境進行,訓練使用匿名數據集,排除私人及可識別個人資料。
Liquid AI 於 2026 年 10 月 13 日發佈開放權重推理模型 LFM2.5-24B-A2B,面向裝置端智能體。模型卡列出 24.0B 總參數、2.45B 活躍參數及 131,072-token 上下文窗口;Liquid AI 稱其在 8 項工具使用及智能體基準中有 5 項領先或持平,並在 3 項指令遵循基準全數領先。
Liquid AI 發佈 LFM2.5-24B-A2B,這款 24B 參數、每個 token 僅啟用 2B 參數的推理模型,面向快速端側智能體。相較 LFM2-24B-A2B,新模型把上下文窗口由 32,768 擴至 131,072 tokens、預訓練規模由 17T 增至 33T tokens,並改為在最終答案前輸出明確鏈式推理。
面壁智能發布新一代端側多模態模型 MiniCPM-V 4.7,包含 35B-A3B 與 1B 兩個版本。官方稱,35B-A3B 是可在端側無損流暢運行的開源 MoE 模型,總參數 350 億、每次推理啟用 30 億,約需 3GB 記憶體,iPad Pro 實測解碼速度達 15+ token/s。
面壁智能發布端側多模態大模型 MiniCPM-V 4.7,提供 35B-A3B 和 1B 兩種規格。官方稱,35B-A3B 是 MiniCPM-V 系列首個 MoE 模型,在 iPhone 17 Pro Max 上僅用 3GB 記憶體即可達 13+ token/s 解碼速度,並支援 iOS、Android 和鴻蒙。