開放模型未來 6 個月面臨禁令風險
Nathan Lambert 認為,未來 6 個月內,能力達到 GPT 5.5、Claude Opus 4.8 或 GLM-5.2 水平以上的開放權重模型可能遭禁或無限期延後。他批評 Anthropic 推動限制的做法是監管俘獲,並指出模型 API 本身也可能遭未授權存取。他主張將知識蒸餾與前沿模型能力的政策討論分開,並由美國公司推出相近能力的開放模型、建立更廣泛的政策聯盟。
Nathan Lambert 認為,未來 6 個月內,能力達到 GPT 5.5、Claude Opus 4.8 或 GLM-5.2 水平以上的開放權重模型可能遭禁或無限期延後。他批評 Anthropic 推動限制的做法是監管俘獲,並指出模型 API 本身也可能遭未授權存取。他主張將知識蒸餾與前沿模型能力的政策討論分開,並由美國公司推出相近能力的開放模型、建立更廣泛的政策聯盟。
AMD 與 Miles 在 ROCm 上透過 Miles,打通 DeepSeek-V4 Flash 在 AMD Instinct MI355X GPU 上的端到端強化學習訓練流程。
SGLang 已整合 DSpark,支援在密集及稀疏模型上進行信心驅動、按請求調整驗證長度的推測解碼。在 DeepSeek-V4-Flash、H200、DP4 的測試中,DSpark 在 batch size 1 至 256 的並發掃描中,吞吐量與每名用戶的解碼速度取捨均優於 MTP 和非推測解碼基線。
Angelos Perivolaropoulos 在 RAAIS 分享語音推理優化方法,展示每張 GPU 的服務量可由 1 名用戶提升至標準工程下 70 名,採用前沿架構時約 140 名。
AMD 與 SGLang 團隊展示,AMD Instinct™ MI355X 透過 MoRI 與 SGLang 執行 DeepSeek-R1 分散式推理,達到具競爭力的總擁有成本(TCO)。
antirez 探討如何在 DwarfStar 中跨多台裝置分散式執行大語言模型推理,並提出以模型集成作為另一條探索路徑。除按 Transformer 層拆分或透過 Apple RDMA 分配專家運算外,模型集成可讓兩台裝置各自運行一個模型,再合併 logits 或選取困惑度較低的續寫。文中提到近期研究認為,結合兩種方式效果較佳;作者希望日後進一步試驗。
Sebastian Raschka 梳理 Gemma 4、Laguna XS.2、ZAYA1-8B 和 DeepSeek V4 的架構改動,聚焦降低長上下文處理成本的設計。
antirez 回顧 DwarfStar 4(DS4)迅速走紅,並表示項目日後會採用在高階 Mac 或「GPU in a box」設備上實際運行夠快的最佳開放權重模型。
SGLang 與 Miles 宣佈在 DeepSeek-V4 發佈首日提供推理及強化學習訓練支援,涵蓋 1.6T Pro 和 284B Flash。
DeepSeek於2026年4月24日發布DeepSeek-V4系列預覽版,開放網頁及API使用,並公開開放權重。兩款模型均支援1M上下文窗口:DeepSeek-V4-Pro總參數為1.6T、活躍參數49B;DeepSeek-V4-Flash則為284B及13B。
推薦理由:兩款模型同具1M上下文窗口,但在參數規模、推理表現與回應速度上定位不同,可看出 DeepSeek-V4 系列的型號取捨。
深度求索(DeepSeek)發佈 DeepSeek-V4,Pro、Flash 系列各有 instruct 與 base 版本,四款 checkpoint 均支援 1M-token 上下文。
推薦理由:文章把 KV cache 成本、混合注意力設計與智能體工作流串連起來,並以基準數據呈現長上下文能力在工具任務中的表現。
DeepSeek API 現已支援 V4-Pro 和 V4-Flash。兩款模型可透過 OpenAI ChatCompletions 介面及 Anthropic 介面使用,base_url 維持不變,model 參數應設為 deepseek-v4-pro 或 deepseek-v4-flash。
LMSYS Blog介紹 HiSparse,這套分層記憶體系統會把閒置 KV cache 卸載至主機記憶體,並在 GPU HBM 保留常用區域,以減輕 GPU 記憶體壓力。
SGLang 整合 Elastic EP,讓 DeepSeek MoE 推理部署在部分 rank 故障時重新分配專家權重並繼續推理,毋須重啟整個服務。
Sakana AI 於 2026 年 3 月 24 日公開免費聊天服務 Sakana Chat,服務搭載日本情境適配的 Namazu α 版模型並整合 Web 搜尋。
NVIDIA 與 SGLang 團隊測試在 GB300 NVL72 上部署 DeepSeek-R1-NVFP4 的 128K/8K 推理,未啟用 MTP 時達到 226.2 TPS/GPU,較 GB200 高 1.53X。
DeepSeek R1 之後,中國開源 AI 生態正由模型擴展至部署、軟硬件協同與治理,開源成為中國 AI 機構近期的主流路徑。截至 2025 年中,逾 113k 個模型以 Qwen 為基礎,逾 200k 個模型倉庫標記 Qwen,遠多於 Meta 的 Llama(27k)和 DeepSeek(6k)。
SGLang 介紹面向超長上下文推理的流水線並行實作,結合分塊流水線並行、非同步 P2P 通訊和動態分塊。在 H20 集羣上,DeepSeek-V3.1 採用 PP4 TP8、12K 分塊預填充時,預填充吞吐量較 TP8 高 3.31×,較 TP32 高 30.5%,強擴展效率為 82.8%。
Ant Group DeepXPU Team 與 SGLang Team 介紹 Tensor R-Fork,透過 GPU-Direct RDMA 在運行中的 SGLang 實例與新實例之間零複製傳送模型權重。
朱嘯虎在訪談中談及 AI 產業泡沫、超級入口之爭,以及對 2026 年的投資預期。他認為三年內看不到泡沫,並指出市場低估了 DeepSeek。訪談亦討論英偉達和 OpenAI 是否仍值得投資,以及 AI 超級入口之爭將圍繞日活和使用時長展開。
DeepSeek 透過臨時端點提供 DeepSeek-V3.2-Speciale,收費與 V3.2 相同,且不提供工具呼叫。此服務提供至 2025 年 12 月 15 日 15:59(UTC)。
DeepSeek 將 deepseek-chat 和 deepseek-reasoner 升級至 DeepSeek-V3.2。deepseek-chat 對應非思考模式,deepseek-reasoner 對應思考模式。更新日誌:https://api-docs.deepseek.com/updates#deepseek-v32
節目與 MIT 在讀博士楊松琳討論人工智能演算法與架構創新,從 Kimi Linear、Minimax M2 和 Qwen3-Next 等模型談起,梳理近年的架構演變並探討未來改進方向。節目指出,DeepSeek 的 MoE 是近年架構的一大突破,而 Attention 可能是下一個重要方向。
SGLang 已有 KTransformers 後端的概念驗證實作,支援 MoE 模型以 CPU/GPU 混合方式推理,全面整合仍在推進。單 GPU + CPU 測試中,prefill 相較基線最高加速 20×,decode 最高加速 4×。
SGLang 與 NVIDIA 透過針對 Blackwell 架構的系統級優化,提升 DeepSeek R1 推理效能。
SGLang 宣佈在 DeepSeek-V3.2 發佈當日提供支援,並於推理引擎中整合 DeepSeek Sparse Attention(DSA)及 Native Sparse Attention(NSA)後端。
DeepSeek 將 deepseek-chat 和 deepseek-reasoner 升級至 DeepSeek-V3.2-Exp,分別對應其非思考模式與思考模式。詳情可參閲更新日誌:https://api-docs.deepseek.com/updates#deepseek-v32-exp。
SGLang 團隊提出 DeepSeek-R1 在 H20-96G 上的服務部署策略與系統、核心層最佳化方案,預填充採單節點 TP-8,解碼採 EP-16。輸入序列長度為 4096 tokens 時,每個節點每秒可處理 16.5k 個輸入 tokens 及 5.7k 個輸出 tokens。
SGLang 團隊優化 GB200 NVL72 上 DeepSeek V3/R1 的推理,在 2000-token 輸入序列下,Prefill 和 Decode 吞吐較 H100 設定分別提升 3.8x 和 4.8x。
DeepSeek 將 API 中的 deepseek-chat 和 deepseek-reasoner 升級至 DeepSeek-V3.1-Terminus,分別對應非思考模式與思考模式。更新維持模型原有能力,減少中英文混雜及偶發異常字元。Code Agent 和 Search Agent 的效能亦獲進一步優化。
DeepSeek 將 deepseek-chat 和 deepseek-reasoner 升級至 DeepSeek-V3.1,兩者分別對應非思考模式和思考模式。
SGLang 現已支援 Multiple Token Prediction(MTP),在 DeepSeek V3 測試中令輸出吞吐量最高提升 60.8%,且不降低生成質素。
Intel PyTorch Team 介紹以 SGLang 原生 CPU 後端在 Intel Xeon 6 CPU 上部署 DeepSeek R1 的優化方案。測試中,SGLang 相較 llama.cpp 的 TTFT 提升 6-14x、TPOT 提升 2-4x,並在 INT8 MoE 上達到 85% 記憶體頻寬效率。相關工作已開源並合併至 SGLang 主分支。
清流資本創始合夥人、百度前技術 VP 夢秋在節目中與主持人 catch-up,談創投近況,也分享旅行、閲讀、觀影和女性主義等話題。她認為資本寒冬尚未過去,DeepSeek 出現後 AI 應用創業也未因此變得活躍;節目亦討論各種 Bot 的體驗、微信如何做 Agent,以及垂直 Agent 的創業機會。
SGLang 在 GB200 NVL72 上部署 DeepSeek 671B,採用 prefill-decode 分離和大規模 EP,解碼速度達每 GPU 每秒 7,583 個 tokens,較 H100 提升 2.7 倍。
Featherless AI 現已成為 Hugging Face Hub 支援的 Inference Provider,接入模型頁面及 Python、JS SDK 的無伺服器推理服務。
Ollama 新增模型思考功能的啟用與停用控制,用戶可按應用情境決定是否分開輸出模型的思考內容與回答。CLI 支援 `--think`、`--think=false` 及互動指令切換;`/api/generate` 和 `/api/chat` 則新增 `think` 參數。
DeepSeek 將 deepseek-reasoner 升級至 DeepSeek-R1-0528,並公佈多項基準的 Pass@1 提升。AIME 2025 由 70.0 升至 87.5(+17.5),GPQA 由 71.5 升至 81.0(+9.5),LCB_v6 由 63.5 升至 73.3(+9.8),Aider 由 57.0 升至 71.6(+14.6)。
推薦理由:DeepSeek-R1-0528公佈多項基準提升數據,並提示複雜推理任務較舊版消耗更多 tokens,可供比較版本能力表現與用量。
SGLang 團隊以 12 個節點、96 張 H100 GPU 部署 DeepSeek-V3,結合 PD 分離與大規模專家並行(EP)。輸入序列長度為 2,000 token 時,每節點每秒可處理 52.3k 個輸入 token 和 22.3k 個輸出 token。相較於使用相同資源的基礎張量並行,最佳化策略的輸出吞吐量最高提升 5x;實驗及程式碼均已開源。
《全球大模型季報》2025 年 Q1 節目與廣密討論全球大模型格局變化,以及 AGI 的主線、主峯與前進路途。廣密重新堅信預訓練決定模型內在上限並帶來新能力,認為後訓練與強化學習是加強。節目亦討論 DeepSeek、Manus、OpenAI、矽谷的認知分歧與價值觀,以及未來的新路線。