OpenAI 發佈開源 GPT OSS 模型系列
OpenAI 發佈 GPT OSS 開源模型系列,包含 117B 參數的 gpt-oss-120b 和 21B 參數的 gpt-oss-20b。兩款均為 MoE 推理模型,採用 MXFP4 4-bit 量化;gpt-oss-120b 可在單張 80 GB GPU 運行,gpt-oss-20b 可在 16GB 記憶體內運行。
推薦理由:文章將兩款模型的量化方式、硬件需求與多種部署路徑整理在一起,便於評估本地推理的資源門檻及接入方式。
模型推理能力的進展:思維鏈、推理模型、數學與邏輯基準的突破與爭議。
OpenAI 發佈 GPT OSS 開源模型系列,包含 117B 參數的 gpt-oss-120b 和 21B 參數的 gpt-oss-20b。兩款均為 MoE 推理模型,採用 MXFP4 4-bit 量化;gpt-oss-120b 可在單張 80 GB GPU 運行,gpt-oss-20b 可在 16GB 記憶體內運行。
推薦理由:文章將兩款模型的量化方式、硬件需求與多種部署路徑整理在一起,便於評估本地推理的資源門檻及接入方式。
OpenAI 發佈 gpt-oss-120b 和 gpt-oss-20b 兩款低成本開放權重語言模型,採用 Apache 2.0 授權。它們在推理任務上優於規模相近的開放模型,並具備良好工具使用能力,亦針對消費級硬件高效部署作最佳化。
推薦理由:推理表現、工具使用能力與消費級硬件部署資訊一併呈現,便於從能力和部署兩方面理解兩款開放權重模型的取向。
Ollama 與 OpenAI 合作,將 gpt-oss-20b 和 gpt-oss-120b 開放權重模型帶到 Ollama,供用戶本地使用。兩款模型採用 MXFP4 量化,20B 版本可在記憶體低至 16GB 的系統運行,120B 版本可在單張 80GB GPU 上運行。20B 面向低延遲、本地或專用場景,120B 面向生產、通用及高推理需求;可透過 Ollama 新應用程式或終端機下載。
推薦理由:文章説明 MXFP4 量化及 Ollama 原生支援如何降低本地運行門檻,並列出 20B 與 120B 模型的硬件需求和用途定位。
Moonshot AI 開源 Kimi K2,提供 Kimi-K2-Base 和 Kimi-K2-Instruct,分別面向微調,以及通用聊天和智能體體驗。Kimi K2 是 MoE 模型,具有 32 billion activated parameters 和 1 trillion total parameters,並在非思考型模型的知識、數學及編碼方面達到最先進表現。
推薦理由:文章説明 Kimi K2 如何透過大規模工具使用數據合成與通用強化學習,培養處理可驗證及非可驗證任務的智能體能力。
Hugging Face 發佈 3B 模型 SmolLM3,使用 11.2T tokens 訓練,支援 think / no_think 雙模式推理及最高 128k 上下文。
推薦理由:SmolLM3 公開分階段訓練、長上下文適配與雙模式推理配方,並交代數據配比和模型合併流程,呈現 3B 模型的工程實作路徑。
Mistral AI 發佈首款推理模型 Magistral,包含 24B 參數的開放權重版 Magistral Small 及企業版 Magistral Medium。
推薦理由:AIME2024 成績呈現兩版差異,Magistral Medium 和 Small 分別得 73.6% 和 70.7%,majority voting @64 時為 90% 和 83.3%。
DeepSeek 將 deepseek-reasoner 升級至 DeepSeek-R1-0528,並公佈多項基準的 Pass@1 提升。AIME 2025 由 70.0 升至 87.5(+17.5),GPQA 由 71.5 升至 81.0(+9.5),LCB_v6 由 63.5 升至 73.3(+9.8),Aider 由 57.0 升至 71.6(+14.6)。
推薦理由:DeepSeek-R1-0528公佈多項基準提升數據,並提示複雜推理任務較舊版消耗更多 tokens,可供比較版本能力表現與用量。
Falcon-LLM Team 發佈 Falcon-H1 開放權重混合架構模型系列,涵蓋六種規模、由 0.5B 至 34B,並提供 base 與 instruction-tuned 版本。
推薦理由:文中對照 Qwen2.5-32B 的短、長上下文吞吐,並説明混合 Attention-SSM 設計,呈現 Falcon-H1 隨序列長度變化的效率取捨。
Gemini API 發佈 gemini-2.5-pro-exp-03-25,這是一款公開實驗版 Gemini 模型,預設始終開啟思考模式。
推薦理由:更新説明同時交代模型的公開實驗版狀態與預設思考模式,讀者可直接掌握這次發佈的兩項核心資訊。
OpenAI 表示,利用 LLM 監測前沿推理模型的思維鏈,可偵測模型利用漏洞的不當行為。懲罰模型的「不良思維」無法阻止大多數不當行為,反而會令它們隱藏意圖。
推薦理由:材料對照監測與懲罰的結果,指出思維鏈監測能偵測漏洞利用,而懲罰不良思維未能阻止大多數不當行為,並會令模型隱藏意圖。
Hugging Face Blog 的教程示範以 React Native 建立手機應用,在裝置本地執行 LLM 聊天。應用從 Hugging Face Hub 下載 GGUF 模型,並以 llama.rn(llama.cpp 的 binding)載入,教程涵蓋 Android 和 iOS。文章亦介紹 GGUF 量化格式、手機選模取捨,以及逐 token 生成與推理速度追蹤等功能。
推薦理由:文章按模型選擇、GGUF 下載與載入、聊天介面逐步拆解 React Native 實作,並説明量化格式與設備能力的取捨,可作為端側 LLM 應用的開發參考。
DeepSeek新模型發布後用戶訪問量激增,令官網及 API 再度無法使用。DeepSeek R1 在 AIME2024 的成功率達 79.8%,每百萬個 token 查詢成本為 0.14 美元,低於 OpenAI 的 7.50 美元;其程式碼和訓練方法以 MIT 許可開源。市場憂慮 DeepSeek R1 以較低成本訓練,可能削弱對英偉達 AI 晶片需求的預期。
推薦理由:文章並列 DeepSeek R1 的基準表現、查詢成本與開源方式,並呈現其對模型競爭和 AI 晶片需求預期引發的反應。
IBM、Princeton、CMU 和 UIUC 合作訓練並推出 Bamba-9B 混合 Mamba2 模型,使用完全開放數據。該模型以 2.2T tokens 訓練;在 vLLM 測試中,相較 Meta Llama 3.1 8B,吞吐量最高提升 2.5 倍,延遲改善 2 倍。
推薦理由:文中對照 Bamba-9B 與 Meta Llama 3.1 8B 的 vLLM 推理數據,並列出數學及 MMLU 評測差距,兼顧效率與基準表現。
Mistral AI 發佈 Ministral 3B 和 Ministral 8B,面向裝置端運算及邊緣場景。兩款模型支援最高 128k 上下文長度(vLLM 目前為 32k),Ministral 8B 採用交錯式滑動窗口注意力模式。
推薦理由:文章以多個評測類別對照 Ministral 3B、8B 與 Gemma 2、Llama 3.2、Llama 3.1、Mistral 7B 等模型,涵蓋預訓練及 Instruct 版本,便於參照各模型表現。
Hugging Face Blog 示範以 Dask 和 Coiled 把 FineWeb-Edu 網頁分類流程,從 pandas 本機處理 100 行擴展至雲端多 GPU 處理 211 million 行。
推薦理由:FineWeb-Edu 分類案例呈現了由 pandas 本機小批次測試,擴展至 Dask 與 Coiled 雲端多 GPU 處理 211 million 行資料的完整流程,為大型資料集推理提供可參照的工程做法。
Mistral AI 發佈 Pixtral 12B,這款多模態模型採用基於 Mistral Nemo 的 12B 參數解碼器,以及從零訓練的 400M 參數視覺編碼器。它支援不同尺寸與長寬比的圖像,並可在 128K tokens 上下文窗口中處理多張圖片;在 MMMU 推理基準上取得 52.5%。模型採用 Apache 2.0 授權,可透過 Le Chat 或 La Plateforme 試用。
推薦理由:Mistral AI 以相同評測流程比較 Pixtral 12B 與多個開源及閉源模型,並列出 MMMU 52.5% 等基準結果,便於理解其多模態表現。
阿布扎比的 Technology Innovation Institute(TII)發佈 Falcon Mamba 7B,這是一款採用純 Mamba 架構、以 TII Falcon Mamba 7B License 1.0 開放存取的模型。
推薦理由:文章並列 Falcon Mamba 的基準表現與長序列生成結果,也説明 sequential prefill 對可處理提示長度的影響。
Mistral AI 發佈 Mistral Large 2,提供 128k 上下文窗口、支援 80+ 種程式語言,並面向單節點推理及長上下文應用。模型有 123 billion parameters,預訓練版本在 MMLU 的準確率為 84.0%,並加強指令遵循、推理與函數調用能力。
推薦理由:Mistral Large 2 披露參數規模、上下文窗口與多項基準表現,並交代研究授權和商用自部署條件,方便比較其能力及部署門檻。
Meta 發佈 Llama 3.1,提供 8B、70B、405B 三種規模的 base 與 instruct 模型,均支援 128K tokens 上下文和 8 種語言。Instruct 版本加入工具調用能力,並支援自訂 JSON 函數;授權亦允許以模型輸出改進其他 LLM。Hugging Face 同時列出 Transformers、TGI 等整合,以及各型號在推理和微調時的記憶體需求。
推薦理由:文章將 8B、70B、405B 的部署定位、128K tokens 上下文及記憶體需求一併列出,可比較不同規模模型的使用取捨。
Mistral AI 與 NVIDIA 合作發佈 12B 模型 Mistral NeMo,支援最高 128k tokens 上下文窗口。其預訓練基礎版與指令微調版 checkpoints 採 Apache 2.0 授權;標準架構可替換採用 Mistral 7B 的系統,並支援無性能損失的 FP8 推理。
推薦理由:文章將 Mistral NeMo 與 Mistral 7B 的替換相容性、FP8 推理支援及 Tekken 多語壓縮數據放在一起,呈現模型部署適配與語言處理效率的比較脈絡。