Inkling 2 Mini 發佈,面向本地部署的多模態 MoE 模型
Thinking Machines Lab 與 Hugging Face 發佈 Inkling 2 Mini,一款支援 1M-token 上下文及圖像、文字輸入的本地多模態 MoE 模型。
推薦理由:文章拆解 Inkling 2 Mini 如何重用中間層權重、透過跨輪訊息逐步修正計算,讓 24 個實體層執行相當於 48 個邏輯層的計算,呈現循環式架構的設計。
Thinking Machines Lab 與 Hugging Face 發佈 Inkling 2 Mini,一款支援 1M-token 上下文及圖像、文字輸入的本地多模態 MoE 模型。
推薦理由:文章拆解 Inkling 2 Mini 如何重用中間層權重、透過跨輪訊息逐步修正計算,讓 24 個實體層執行相當於 48 個邏輯層的計算,呈現循環式架構的設計。
Hugging Face 在 pi、Hermes Agent 和 OpenCode 三種 Agent harness 內,以 RL 為 Qwen3.8-27B 訓練 LoRA adapters,並公開可重現的訓練流程。
推薦理由:文章以三種 Agent harness 的實驗,呈現目標環境內 RL 微調如何提升 Qwen3.8-27B 的編碼基準表現並減少工具呼叫。
Transformers 的 MoE 專家串流實作在 32GB Mac M5 上運行 Qwen3.8-Flash-Next,200-token 解碼達 13.9 tok/s,與 Strata 的 14.8 tok/s 相差約 6%。
推薦理由:文章以同一台 M5 和相同提示詞比較 Transformers 與 Strata,呈現專家串流優化後短文本解碼差距約 6%,並指出剩餘效能瓶頸。
Rumble-2-Flash 以 Apache 2.0 授權開源,是支援 40+ 種語言的 0.5B 語音辨識模型。在 Open ASR Leaderboard 多語言賽道,它跨 9 種語言的平均錯誤率為 6.96%,優於 Meta 的 omniASR-LLM 7B 和 Whisper large-v3。
推薦理由:文章以多語言辨識榜單及真實客服通話基準比較 Rumble-2-Flash,呈現小型模型在不同語音條件下的錯誤率表現。
Hugging Face 宣佈與 OpenRouter 合作,將 Inference Providers 的語言模型請求改由 OpenRouter 路由,按供應商即時價格、速度和可靠性選擇服務商,並在失敗時改由其他供應商重試。
推薦理由:文章説明語言模型路由如何按即時價格、速度和可靠性選擇供應商,並交代故障重試及自備 API key 不再適用的影響。
教學示範如何在 Isaac Sim 中組合 UR17G 機械臂、Robotiq 2F-140 夾爪與飲料罐,並使用智能體生成的控制程式執行抓取與放置。SimReady Central 提供具備模擬設定及驗證資料的 OpenUSD 資產,涵蓋關節、碰撞和質量等屬性。示範使用 Isaac Sim 6.2 和 GPT-6 Sol 協助編寫及執行任務程式。
llama.cpp 團隊發佈 llama.cpp 與 ggml 函式庫 v1.0.0,並宣佈日後以主版本號標示 API 和 ABI 不相容變更。版本規則將破壞相容性的公開 C API 變更列為 MAJOR,向後相容功能、後端更新、模型支援或 API 新增列為 MINOR,沒有 API 變更的錯誤修正列為 PATCH。
LLMON 隨兩款基於 Granite 4.1 base models 的實驗預覽模型推出:granite-4.1-3b-LLMON-preview 和 granite-4.1-8b-LLMON-preview,支援讀取及生成 LLMON 標記文本。
推薦理由:文章説明 LLMON 如何以明確分隔指令與資料的方式應對靜態間接提示詞注入,並列出相對前沿及開源模型的基準比較。
Hugging Face Blog 提供 TRELLIS.2 微調指南、腳本及 Docker 容器,示範如何用 LoRA 針對鞋類 3D 幾何生成進行微調。實驗使用 GSO 的 188 件鞋類物件,只微調 sparse-structure flow DiT 和 shape flow DiT,並凍結 texture flow DiT;其中 9 件留作評估。
推薦理由:文章示範如何按任務與資料特性選擇 TRELLIS.2 的微調部件,並以留出鞋類物件的幾何指標比較調整前後結果。
文章示範如何用 Sentence Transformers 為多向量嵌入模型加入 Token Pooling 感知訓練,令模型同時以原始及壓縮後的文件向量進行檢索訓練。
推薦理由:文章將壓縮後的檢索目標納入訓練損失,並在相同儲存預算下比較一般訓練與池化感知訓練的檢索品質保留差異。
Hugging Face 現允許組織管理員將 Hugging Face 組織連結至 Google Cloud 帳戶,讓使用費用列入 Google Cloud 帳單,而非信用卡扣款。適用範圍包括 Team 或 Enterprise 訂閲、按用量付費的運算服務及額外儲存空間。訂閲須經 Hugging Face 團隊審核;審核期間,費用仍按原有付款方式收取。
Hugging Face 將決策模型支援整合至 Transformers,並以共通介面讓模型根據狀態、問題及允許答案輸出結構化決策和機率。
推薦理由:文章比較決策模型與傳統分類、零樣本分類的定位差異,並展示 Transformers 與 llama.cpp 如何透過共通介面處理選項、序位評分及是非判斷。
Hugging Face 與 Liva AI 合作,為 Open ASR Leaderboard 加入 Egyptian 和 Nigerian 兩種口音的私有語音數據集。新數據集分別提供 1.34 小時和 1.55 小時的自然對話語音,並採用標點、區分大小寫及保留語音不流暢之處的轉錄。新增口音亦令排行榜可按 Kachru 的三圈模型提供更豐富的口音分類。
Phonon TTS 推出兩款可在裝置上離線運行的文字轉語音模型,合計支援五種語言。兩款模型約為 65 MB 和 75 MB;Phonon 31m 採 Apache 2.0,Phonon 40m 涵蓋五種語言並採非商業授權。
推薦理由:文章同時交代 Phonon 的離線運行方式、授權與多語言支援,並對照 Open TTS Leaderboard 的可理解度及速度表現,呈現小型語音模型的部署特點。
Dharma-AI 發佈 2-billion-parameter Field Extractor,可從文件影像抽取欄位並輸出結構化 JSON。模型支援開放式抽取,以及按指定 schema 輸出欄位、類型和鍵名;文件中缺少的欄位會返回 null。
Collinear AI 推出 CWE-bench v2,開放 100 項任務,供用戶評測模型在真實開源程式庫中尋找並修補安全弱點的能力。任務涵蓋 91 種 CWE,公開任務集、評分器及執行框架;評分採程式化檢查,所有任務亦經人工審查。
Hugging Face 提出 transformers-mic,將縮小版模型、可執行的使用路徑及人工審核基線組成 Model Integration Contract,用於在 PR 中檢查模型整合回歸。
推薦理由:文章交代如何以縮小版模型、可執行的使用路徑及人工審核基線建立測試契約,並展示其在 CPU 上重現 UMT5 回歸的過程。
Hugging Face 宣佈 Project ProtoStar,聯合大學、研究機構、業界和開放科研社羣,推動公開資助科研資源以 AI 就緒格式釋出及重用。
Mistral Large 4(Le Chonk)以開放權重形式登上 Hugging Face,提供 FP8 和 NVFP4 兩個官方版本。模型是多模態、多語言 MoE,約有 1T 總參數、49B 活躍參數及 1M tokens 上下文窗口,支援文字和圖片輸入並生成文字。
推薦理由:文章整理 Mistral Large 4 在 Transformers、vLLM 和 llama.cpp 的部署方式,並附上不同硬件配置與上下文長度下的實測速度,提供實際部署參考。
AnySpeechRecognizer 與 AnyDecisionModel 兩個 Swift 套件正式公佈,分別為 Apple 平台提供可選擇辨識引擎的語音轉文字功能,以及輸出型別化答案和機率的決策 API。
推薦理由:文章列出語音模型的測試結果、下載體積及平台限制,讓讀者可比較 Apple 裝置本機部署的取捨。
NVIDIA 推出開放權重的 Nemotron 3.5 Transcribe,並公開 Granary v2 多語言語音資料及整理流程。模型支援 40 種語言轉錄,其中 31 種可與英文互譯,並支援 13 種語言的説話者標註;Granary v2 公開清單涵蓋 48 種語言、463,062 小時及 16 個來源語料庫。醫療語音案例中,微調令留出説話者的 WER 較最佳提示詞基線相對下降 45.8%。
推薦理由:文章串連提示詞控制、資料整理與微調流程,並以留出説話者的醫療語音評估呈現 WER 相對下降 45.8% 的結果。
Liquid AI 發佈 LFM3 新一代模型系列,以共享骨幹涵蓋文字、視覺、音訊、全模態及決策模型。LFM3-1.7B 以少 35% 參數超越 LFM2.5-2.6B;文字模型的上下文窗口為 256K,所有模型均可在單張 GPU 微調。LFM3 全系列採開放權重,現已在 Hugging Face 提供。
推薦理由:LFM3 將文字、視覺、音訊與決策模型建基於同一骨幹,並支援單張 GPU 微調及端側部署,呈現小型模型按任務專門化的實作路徑。
Hugging Face 的 torch-neuronx model support Space 可查詢熱門 Hub 模型能否在 AWS Trainium 上執行,並提供測試結果及重現所需的執行腳本。
ThinkingBox-Training 已在 GitHub 開放,將智能體完成任務後的資料庫終態可執行檢查用作後訓練獎勵。以 GRPO 對 Qwen3.8-27B 訓練 50 步後,在 ThinkingBox-Bench 的 507 項任務(每項測試 20 次)中,pass@1 由 51.70% 升至 60.78%,20 次全部成功的任務由 38 項增至 107 項。
推薦理由:文章展示如何把資料庫終態的可執行檢查轉成智能體後訓練獎勵,並按基礎策略成功率篩選任務,説明混合成敗回報如何為 GRPO 提供組內對比。
Granite Timeseries Ensemble 組合四款預訓練 Granite 時間序列模型,輸出中位數及分位數預測,無需重新訓練或擬合 ensemble 權重。
SimReady Central 在 Hugging Face 提供逾 2,000 個免費開放的 OpenUSD 模擬就緒資產,供機械人模擬及 AI 工廠數碼孿生使用。
推薦理由:SimReady Central 説明資產需具備的模擬屬性,並展示 OEM 驗證提交及開發者組合資產建立場景的流程。
Hugging Face 推出 TorchTPU,為 PyTorch 加入原生 TPU 後端,並讓 Transformers、Diffusers 和 Kernels 原生支援 TPU。
推薦理由:文章展示 TorchTPU 如何把 TPU 接入 PyTorch 及 Hugging Face 常用庫,並以測試通過率和問題修復數據呈現目前支援狀況。
Hugging Face 發佈 AnyLanguageModel 1.0,並同步推出 swift-huggingface 1.0 和 swift-xet 1.0。AnyLanguageModel 以相同 Swift API 支援本機及託管模型,新增各供應商通用的工具呼叫、引導式生成和圖像支援,並可在 Linux 執行。
PyTorch 2.15 為 Mac 的 MPS 後端加入 FP8 支援,並加快 LLM 解碼及多項 Metal 運算。在 M3 Ultra 使用 torch.compile 時,Qwen3.6-35B-A3B 的 MoE 解碼速度由 9.4 升至 61.3 tokens/s;Wan2.2 影片 VAE 解碼的峯值驅動程式記憶體由約 270 GiB 降至約 8 GiB。
推薦理由:文章列出 Mac MPS 上的模型解碼提速和 Wan2.2 影片 VAE 記憶體降幅,具體呈現 PyTorch 2.15 後端更新對本機推理工作負載的變化。
TorchNeuron 為 AWS Trainium 提供 PyTorch 原生後端,令 Transformers、Diffusers 等 Hugging Face 函式庫可直接使用 Trainium。
推薦理由:文章比較 Optimum Neuron 與 TorchNeuron 的執行方式,並提供推理、微調及圖像生成範例,呈現 Trainium 接入 Hugging Face 工作流程的具體變化。
Reflection 在 Hugging Face 發佈開源模型 Beam,採用 501B 參數 MoE 架構,每個 token 啟用 23B 參數,支援 1M tokens 上下文窗口。
推薦理由:文章詳列不同精度檢查點的硬件配置與評測,並附推理及微調配方,呈現自行部署這個 501B 模型的資源要求。
Meta 推出 Muse Spark Open,一款約 816B 參數、每個 token 約啟用 42B 參數的開放權重多模態混合專家模型,支援文字、圖像、音訊和影片輸入,並生成文字。模型的上下文窗口最高為 1M tokens。文章列出 Transformers、llama.cpp、SGLang 和 vLLM 等推理部署方式,以及使用 TRL 進行 LoRA 微調的示例。
推薦理由:文章把模型規模、長上下文與多模態輸入能力,連同多種部署和微調方案放在同一份技術指南中,可用來瞭解模型的運行配置與使用方式。
FLUX.3 Image Klein 現已支援 Diffusers,可用於文生圖、多參考圖圖生圖及邊界框版面控制。兩款開放檢查點分別是預設以 16 步生成且不使用 CFG 的蒸餾版,以及使用 50 步和 CFG 的 base 版。蒸餾版生成 1024 × 1024 圖像,在單張 NVIDIA H100 80GB 上平均耗時 1.93 s;文章亦提供 LoRA 微調腳本及量化權重載入方法。
推薦理由:文章展示了以邊界框安排生成版面及移動參考圖區域的做法,並附上 Diffusers 範例與 LoRA 微調腳本。
Apertus 1.5 更新 8B 和 70B 模型,加入圖像與音訊理解及可選思考模式,並將上下文窗口擴至 262,144 tokens。持續預訓練分別為 8B 和 70B 模型加入 4 trillion tokens 和 2 trillion tokens 的文字及多模態訓練資料,總訓練量分別達 19T 和 17T。
推薦理由:文章同時公開訓練資料、各階段檢查點與可重跑的評測記錄,讀者可據此瞭解 Apertus 1.5 的訓練流程及比較評測結果。
Liquid AI 發佈 LFM2.5-24B-A2B,這款 24B 參數推理模型每個 token 僅啟用 2B 參數,面向在裝置上運行智能體。它在 LiveClaw 得分 48.09,高於 Qwen3.6-35B-A3B 的 38.19,並在 Apple M5 Max 上達到 184 tokens/s。
推薦理由:LFM2.5-24B-A2B以2B活躍參數面向本機智能體,並列出工具使用基準及CPU、GPU推理速度,呈現模型效能與本機部署的取捨。
作者以 ML-intern 建立六個原本沒有的模型,並完成訓練、評估及公開發布到 Hugging Face Hub。文章分享提示詞如何列明數據集與基礎模型,要求先測基準、執行小規模 smoke test 並設定支出上限;六個項目的運算費用合計約 USD 103。
推薦理由:文章把 ML-intern 的提示詞設計拆成可操作環節,從先測基準、設定小規模 smoke test 到限制預算,並以六個模型專案展示這套流程。
TII 推出 Falcon-ASR,這款 1.6 billion 參數的阿拉伯語語音識別模型特別聚焦阿聯酋方言,亦支援英語、法語、西班牙語及葡萄牙語。在六組阿拉伯語測試集上,Falcon-ASR 平均 WER 為 20.92%,較所用排行榜快照中的最佳已公佈結果低 2.25 個百分點;內部阿聯酋方言測試的 WER 和 CER 分別為 22.73% 和 10.19%。
Liquid AI 發佈兩款開放權重端側決策模型 d1-3B 和實驗版 d1-omni-600M。d1-3B 支援文字與圖像輸入,在 Decision Index 0.2.1 得分 48.57,並在七個公開數據集取得 82.9 的平均分;d1-omni-600M 支援文字與圖像或文字與音訊輸入。
推薦理由:文章把 d1-3B 的公開基準成績與多款邊緣設備的延遲數據並列,讓讀者瞭解其決策表現及端側推理速度。
研究團隊從 Nemotron 3 出發,結合 SFT、RL 和回饋式推理建立專項系統,在 IOI 2026 得 535.4/600,高於金牌門檻 361.12;在 IMO 2026 得 30/42,高於金牌門檻 29。
推薦理由:文章並列 IOI 與 IMO 的資料、微調方法及推理流程,呈現專項模型如何配合生成、驗證與修訂環節應對兩類競賽任務。
Hugging Face 建立 Open TTS Leaderboard,以客觀指標評估開源、多語言 TTS 模型及聲音複製能力。評估涵蓋 WER/CER、批次推理速度(RTFx)、首段音訊延遲(TTFA)及説話者相似度(SIM),可把單個模型的評估時間由數週縮短至數小時。排行榜不取代人工偏好評選,並設有 Listen 頁籤供用户比較生成音訊及投票;其指標不直接衡量自然度、表現力或聽者偏好。
推薦理由:排行榜以客觀指標並列呈現語音清晰度、説話者相似度與速度表現,並保留聆聽投票,方便比較多語言及聲音複製模型。