Zyphra 發佈面向裝置端應用的 Zamba2-small(2.7B)小型語言模型
Zyphra 發佈 Zamba2-small(2.7B),一款面向裝置端應用的小型語言模型。相較 Phi3-3.8B,其首 token 生成速度快 2x、記憶體開銷減少 27%,生成延遲低 1.29x。模型權重以 Apache 2.0 授權開源。
Zyphra 發佈 Zamba2-small(2.7B),一款面向裝置端應用的小型語言模型。相較 Phi3-3.8B,其首 token 生成速度快 2x、記憶體開銷減少 27%,生成延遲低 1.29x。模型權重以 Apache 2.0 授權開源。
Zyphra 發佈 Zamba2-VL 視覺語言模型系列,提供 1.2B、2.7B 和 7B 參數版本,採用 Zamba2 混合 SSM–Transformer 骨幹。
Liquid AI 發佈 LFM2,推出 0.35B、0.7B 和 1.2B 三個參數規模的模型,面向裝置端生成式 AI。官方表示,LFM2 在 CPU 上的 prefill 和 decode 速度最高達 Qwen3 的 2 倍,訓練效率較上一代提升 3 倍。
LFM2-VL 推出 LFM2-VL-450M 和 LFM2-VL-1.6B 兩款開放權重視覺語言模型,支援文字及可變解像度圖像輸入。在 GPU 上的推理速度最高達現有 VLM 的 2 倍,並原生處理最高 512×512 解像度的圖像;更大的圖像會切分為 512×512 區塊。兩款模型現已於 Hugging Face 提供,採用基於 Apache 2.0 的開放授權。
Liquid AI 發佈 Liquid Nanos,一系列 350M–2.6B 參數的基礎模型,可在手機、手提電腦及嵌入式裝置上本機運行。首批實驗性模型涵蓋資料抽取、英日雙向翻譯、RAG、工具調用及數學推理,另包括社羣製作的法語微調模型。模型現已在 Liquid Edge AI 平台(LEAP)及 Hugging Face 提供,並以開放授權向學術界、開發者及小型企業開放。
Liquid AI 發佈 LFM2-Audio-1.5B,這款 1.5B 參數模型支援音訊與文字輸入及生成。模型在 VoiceBench 九項音訊互動基準的總分為 56.78,ASR 基準平均詞錯誤率為 7.24。以 4 秒輸入波形測試,平均端到端延遲低於 100 ms;Liquid AI 亦提供 Python 套件及語音對話應用參考實作。
Liquid AI 發佈 LFM2-8B-A1B 早期檢查點,這款端側 MoE 模型共有 8.3B 參數,每個 token 啟用 1.5B 參數。官方公佈 16 項基準測試結果,其中 MMLU-Pro 得分為 37.42,較 LFM2-2.6B 高 11.46 分;模型面向手機、平板及手提電腦的本地推理。頁首註明,該模型已棄用,並由 LFM2.5-8B-A1B 取代。
Liquid AI 發佈 3B 參數的視覺語言模型 LFM2-VL-3B,面向需要更高準確度並保留 LFM2 架構速度優勢的應用。模型以 LFM2-2.6B 為骨幹,整合 SigLIP2 400M NaFlex 編碼器,並可調整每張圖片的視覺 token 數量,以平衡效能與速度;現已可透過 LEAP 及 Hugging Face 取得。
Liquid AI 發佈 LFM2-2.6B-Transcript,支援在 CPU、NPU 和 GPU 上完全本機執行。模型針對 30–60 分鐘會議逐字稿設計,並已在 LEAP 和 Hugging Face 開放下載,可輸出討論要點、決策及標註負責人的行動項目。
Liquid AI 發佈 LFM2.5-1.2B-Thinking,一款可完全在裝置上運行的推理模型,手機記憶體佔用低於 900 MB。模型有 1.2 billion 個參數,在多數推理基準中匹敵或超越 Qwen3-1.7B(thinking mode),參數量少 40%。現已可透過 Hugging Face、LEAP 和 Playground 使用。
Liquid AI 發佈基於 LFM2 架構的 LFM2.5-350M,這款 350M 參數模型經額外預訓練(由 10T 增至 28T tokens)及大規模強化學習。
Liquid AI 發佈 LFM2.5-VL-450M,作為 LFM2-VL-450M 的改進版本,提升視覺定位與指令遵循能力,並新增函數調用支援。預訓練規模由 10T 增至 28T tokens;RefCOCO-M 邊界框預測分數由 0 升至 81.28,MMMB 多語言分數由 54.29 提升至 68.09。
Liquid AI 發佈 2.6B 參數的 LFM2.5-2.6B,這款智能體模型可完全在裝置端運行,支援規劃、工具調用及多步任務。基準測試中,它在所有指令遵循基準及幾乎所有工具使用基準領先對照模型,較大型模型則在編碼上佔優。CPU 解碼速度在 M5 Max 達 220 tokens/s、Ryzen AI Max+ 395 達 113 tokens/s,手機上為 30 tokens/s。
Liquid AI 發佈視覺語言模型 LFM2.5-VL-3B,稱其視覺表現可媲美參數量兩倍的模型,並在多種 CPU、GPU 部署中運行更快。相較前代,屏幕理解、工具調用、定位及多圖輸入均有提升,ScreenSpot-v2 平均得分為 80.7,ToolSandbox 由 26.4 升至 59.5,RefCOCO precision@1 由 57.1 升至 87.9。
Liquid AI 發佈 LFM2.5-VL-3B 的實驗性視覺 DSpark 草稿模型,GPU 解碼吞吐量最高提升 2.66×,端側最高提升 3.13×。端到端吞吐量在 GPU 和端側分別最高提升 2.27× 和 2.62×;草稿模型約有 280M 參數,令部署模型參數量增加 8.9%,並支援 llama.cpp、SGLang 及 MLX-VLM。
Google DeepMind 發佈 Gemma 4 開放模型家族,提供 E2B、E4B、26B MoE 和 31B Dense 四種尺寸,並採用 Apache 2.0 授權。
推薦理由:Gemma 4 提供從手機端到工作站的多種尺寸,並列出排行榜名次與上下文窗口,便於比較本地部署時的硬件需求和能力差異。
Mistral AI 發佈 Voxtral Transcribe 2,包含用於批次轉寫的 Voxtral Mini Transcribe V2,以及面向即時應用的 Voxtral Realtime。
推薦理由:批次版與即時版的定位和能力差異清晰,文章亦列出即時轉寫的延遲設定、開放權重授權及兩款模型的 API 價格,便於比較部署選項。
Gemma 3n 已接入多個主流開源工具庫,並推出 E2B、E4B 兩種尺寸的 base 與 instruct 版本。支援工具包括 Transformers、timm、MLX、llama.cpp、Transformers.js 和 Ollama;兩款模型實際參數量為 5B 和 8B,GPU 記憶體佔用約相當於 2B 和 4B 模型。
推薦理由:文章並列模型的實際參數量、GPU 記憶體需求和多個工具庫的接入方式,方便衡量 Gemma 3n 本地多模態部署時的硬件門檻與工具選擇。
Mistral AI 發佈 Ministral 3B 和 Ministral 8B,面向裝置端運算及邊緣場景。兩款模型支援最高 128k 上下文長度(vLLM 目前為 32k),Ministral 8B 採用交錯式滑動窗口注意力模式。
推薦理由:文章以多個評測類別對照 Ministral 3B、8B 與 Gemma 2、Llama 3.2、Llama 3.1、Mistral 7B 等模型,涵蓋預訓練及 Instruct 版本,便於參照各模型表現。
Meta 發佈 Llama 3.2,共有 10 個開放權重模型,包括 5 個多模態模型和 5 個純文字模型,涵蓋 11B、90B 視覺模型及面向裝置端的 1B、3B 純文字模型。
推薦理由:Llama 3.2 涵蓋 11B、90B 視覺模型與 1B、3B 裝置端純文字模型,並列出 Transformers、llama.cpp 等運行示例,可作為選擇部署路徑的參考。