從 Transformer 到 LLM 全景圖:參數、訓練三階段、推理兩階段、能力邊界
這套 34 講大模型課程的第 6 講,系統梳理 LLM 的參數規模、訓練流程、推理階段及能力邊界。文中以 Kimi K3 為例,列出 2.78T 總參數及約 104B 每 token 激活參數,並説明 MoE 的激活參數與整體顯存需求不同。內容亦比較開源權重自託管與閉源 API 的選擇條件,並整理模型在幻覺、長上下文、多步推理及現實操作方面的限制。
這套 34 講大模型課程的第 6 講,系統梳理 LLM 的參數規模、訓練流程、推理階段及能力邊界。文中以 Kimi K3 為例,列出 2.78T 總參數及約 104B 每 token 激活參數,並説明 MoE 的激活參數與整體顯存需求不同。內容亦比較開源權重自託管與閉源 API 的選擇條件,並整理模型在幻覺、長上下文、多步推理及現實操作方面的限制。
企業在使用 AI 前應先審計業務流程,確認時間、資源和客戶旅程等數據是否已收集,因為 AI 無法還原未記錄的事件。盤點試算表、CRM、日曆、訊息和工作系統中的現有記錄,並確認能否連結。連接服務前,須檢查資料存取權限及分享客戶訊息和通話的權利。
AI 數據爬取機械人大量訪問大學圖書館網站,令原供學生、研究人員及公眾使用的網站變慢,甚至短暫停擺。北卡羅來納大學教堂山分校曾在一天內收到逾 11,000 次芬蘭音樂相關搜尋,機械人流量令圖書館目錄間歇性拒絕學生、教職員及職員存取。
Thinking Machines 發佈可自動化 AI 訓練工作的 Inkling 2 Small,模型現已透過 Tinker 雲端服務提供。模型有 594 billion 個參數,提示詞輸入時約 17 billion 個參數會啟用,並可分析圖像及視覺檢查生成圖像;公司稱它在 4.5 小時內令 Qwen3.5-4B 的預測評分翻倍。
MIT 與 BASF 研究人員開發開源分子基礎模型 CheMeleon,透過預訓練學習化學關係,再以少量特定任務數據微調,預測分子性質。模型約有 10 million 個參數,在 58 個基準數據集的統計比較中勝過傳統基準模型及現有基礎模型。CheMeleon 可透過 ChemProp 下載及微調,但仍須實驗確認候選分子的實際性質。
LinkDigest 新增影片時間戳標註格式,單次 API 呼叫可為每段影片輸出 JSON,批次處理則匯出為每行一段影片的 JSONL。輸出涵蓋語音、影格描述、畫面文字、章節和關鍵要點,coverage 會標示已讀取及未讀取的部分;上載影片每 10 分鐘收取 11 credits,每小時影片共 66 credits,按 credits 購買方式摺合 $0.92 至 $1.32。
osFoundry 的 Local Model 在桌面 App 內整合開放權重模型的探索、裝置端推論、量化、微調及評測流程。指南以個人筆電、小團隊共用桌機及營運主管三種情境,示範模型比較、速度基準測試、自訂資料集評測和 LoRA 訓練;本機推論、量化及本機訓練在電腦執行,Providers 和 Cloud GPU 則會使用外部服務。
MIT 團隊開發的 CheMeleon 預訓練模型,在目標分子性質數據有限時,篩選候選分子的表現優於其他現有方法。模型以 PubChem 中 100 萬種分子的數據及約 1,600 項分子描述符預訓練,並可按特定任務微調;研究在 58 個測試案例中將其與其他基礎模型及專家設計的傳統模型比較,CheMeleon 表現居首。這個開源模型可透過 ChemProp 下載和微調。
Modal 按秒計算訓練費用,合計 GPU、CPU 核心及記憶體費用,指定區域時再乘以 1.15x 或 1.75x。案例中,Modal 的 1 張 H100 執行 8 小時費用為 $38.70,8 張 B200 執行 12 小時為 $685.28;按 Nodus 列示機器時價計算則分別為 $20.80 和 $528.00,另有啟動與拆卸時段費用。
Horizon-Scalable Q-Learning(HQL)提出一種方法,透過自動平衡單步與多步回報,提升長時程離線價值學習的準確度。只有當評論家對數據集動作的評分不低於行為克隆策略所抽取 N 個動作中的最高評分時,HQL 才延伸目標;否則退回單步目標,且無需動作密度。
ConceptTime 以凍結的機率預測器產生的預測驚奇切分時間序列,將片段聚類為動態概念,再按概念序列分類,並在證據不足時棄權。在 17 個公開基準上,它的準確度與黑盒最先進方法相若,勝過所有可解釋基準;在 Epilepsy 上僅用 1% 標籤仍維持接近 98% 準確度。整個方法無需標註、語言模型呼叫或領域專家。
Deletion Tuning 在 LLM 後訓練中只將少於 0.05% 的權重歸零,便在可驗證獎勵強化學習、監督式微調及 on-policy 蒸餾三種設定下,達到與全量微調(FFT)相當的效果。其二元遮罩比相應 FFT checkpoint 小數百至數千倍,遺忘程度亦較低。強化學習中,其先前任務準確率維持接近基礎模型;FFT、LoRA 及隨機稀疏微調則最多下降 5.4 個百分點。
Databricks Feature Views 以同一套特徵定義產生符合時間點的訓練數據,並支援即時推理,減少訓練與線上服務之間的特徵差異及數據洩漏。文章示範由 Kafka 串流計算近期交易、消費基線和交易詳情,再由 Model Serving 取得線上特徵並提供詐騙風險評分。
NVIDIA 探討以 Reshard Collective 加速強化學習(RL)後訓練中的權重更新。分離式架構會在不同 GPU 資源上平行執行推理與訓練;策略模型只在訓練 GPU 上更新,系統則須定期刷新權重。
Baseten 宣佈 Serverless Loops 正式開放,提供按 token 計費的託管 SDK,支援開放模型的監督式微調和強化學習。Python SDK 以凍結基礎模型權重的方式訓練 LoRA adapters;Serverless runs 使用共用容量,按訓練及取樣所用 token 計費,不需預留 GPU。
本週多款前沿模型推出或公開權重之際,投資者對 AI 支出的態度轉趨審慎,Anthropic 公開提交 IPO 文件,OpenAI 最新一輪融資約為 $11 billion,低於原定的 $30 billion 目標。
The Decoder 的 Frontier Radar #5 梳理 27 間新型 AI 研究公司,將它們對 AI 發展路線的押注歸納為六類,並分析研究者離開大型實驗室的原因。
Muir 以敏感度分配閘控、匹配濾波讀出及穩定並行更新,改善線性注意力的語言建模、長上下文召回和訓練速度。在 166M-1.34B 規模下,其 perplexity 較 GDN-2 低 1.8-2.0%、較 Transformer 低 2.5-3.6%;1.34B 版本可由 4K 訓練長度外推至 10M-token streams,32K 訓練較 Transformer 快 2.7x。
巴黎初創公司 Physicl 融得 $10M 種子資金,開發為實體 AI 系統製作訓練數據的平台。Inovia Capital 領投,U.S. Venture Partners 亦有參與;其產品 Studio 讓研究人員在 3D 場景中重建模型失誤情境,生成針對性訓練數據。據公司表示,客戶 SpAItial 把 Physicl 的數據加入訓練集後,其房間建構模型的錯誤率降低逾半。
Fabian Theis 認為,現有數據集上的細胞擾動預測問題不足以證明複雜算法的必要,研究應轉向預測分子、細胞、組織等不同尺度如何演變及互相影響。Biohub 的數據收集計劃獲 $1.8B 承諾,旨在補足這類研究所需的大規模、高精度生物數據。
osFoundry 的 Local Model 在桌面應用程式中整合開放權重模型的探索、安裝、推理、量化、微調及評估,並支援在本機硬件上運行。Explore 會按設備記憶體估算模型是否適用;文章亦示範以自訂數據集進行 LoRA 訓練,並用 Eval 評估回答質素、以 Benchmarks 測量速度及延遲。
作者在 6 類模型測試 weight-space programming,發現它能修補傳統及小型模型,但 LLM 的自行編輯未能穩定維持。無標籤降雨預測的手寫模型 AUC 為 0.809,低於以 2.5 年標註資料訓練的 XGBoost(0.839),但高於以 60 日資料訓練的模型(0.747);新詐騙模式加入 23 個權重的規則區塊後,捕捉率由 10% 升至 98%。
Physicl 獲 Inovia Capital 1,000 萬美元種子輪融資,為世界模型設計者和機械人開發者提供更逼真的模擬環境,協助解決訓練難題。公司推出 Studio,提供 10,000 個 3D 環境和 100,000 件物件資產,用戶可建立場景,生成針對特定問題的合成訓練數據。
Physicl 完成由 Inovia Capital 領投、US Venture Partners 參與的 $10 million 種子輪融資,並推出首款合成訓練數據應用 Studio。
文章以 Qwen2.5-1.5B-Instruct、rank 16 為例,拆解 LoRA 在 28 個 Transformer blocks 的七種線性投影加入 adapter,合共訓練 18.5M 個參數,約佔模型 1.2%。
這篇每週研究與工程摘要指出,當已有強模型檢查點可供蒸餾時,一項比較中在策略蒸餾以約 50x 較少蒸餾 FLOPs 達到與 GRPO 相同的準確度。另一項研究發現,已有 1,200 個高質素示範時,60 步 GRPO 未帶來可檢測的同分佈增益。DPO 研究則發現,在特定獎勵邊際區間內,抽取任務維持原有表現,路由任務表現下降約 30 分。
歐洲AI發展受電力接入、產業斷層、監管負擔和資金不足等結構問題牽制,AI算力佔全球不足5%。法蘭克福、巴黎、都柏林等數據中心樞紐的電網接入排隊普遍需7至10年;歐洲目前只產出3個基礎AI模型,美國有40個,中國有15個。歐洲企業大量租用美國雲廠商算力,工業數據與人才優勢未能充分轉化為本土AI競爭力。
Grace Huckins 試用 Tau Robotics 在三藩市提供的人形機械人清潔服務,機械人目前仍需人員遙距操控及支援,並透過清潔任務收集訓練數據。第二次清潔時,機械人完成了廚房和馬桶清潔,但爬樓梯不穩,過程中亦有失誤;吸塵和拖地等部分任務則已可在沒有人手協助下完成。Tau 希望利用收集到的數據訓練自主清潔機械人,並開始考慮日後將它們用於除黴和家居護理等工作。
張偉楠在 CNCC 2026 演講探討物理智能如何讓 AI 走出螢幕,透過感知、預測、行動與持續學習,形成與真實環境互動的閉環。他梳理了涵蓋硬件與系統、數據與仿真、感知、世界模型、基礎模型、物理智能體及應用層的七層技術棧,並指出真實交互數據昂貴、環境局部可觀測及長時程預測誤差累積等挑戰。
DevOpsInterview.Cloud 整理面向 DevOps 與平台工程師的 MLOps 面試指南,涵蓋 pipeline、特徵儲存、模型漂移及發布把關。
一名身份不明的操作者以機械臂製作《蒙娜麗莎》拉花咖啡,每杯售價 14 元。機械臂自行完成六個步驟;拉花失敗時由人手修正,成功及修正軌跡可用作訓練數據。演示未提供產能、運行時間或可靠性數據,單次操作只能證明這項任務可行,不能證明大規模營運的單位經濟效益。
企業建設數據系統應先統一指標口徑、把數據治理融入研發流程,並以跨部門機制和持續運營保障平台真正投入使用。阿里雲瓴羊Dataphin以“OneData”和“治理即研發”為核心,整合數據集成、開發建模、智能治理與資產運營,並將大模型能力用於生成SQL、診斷異常任務。雅戈爾整合16個系統至1個平台,上汽大眾梳理超過1萬個數據對象。
這篇教程逐層拆解 Llama 2 7B,計算其約 6.74B 參數及單 token 前向約 13.5 GFLOPs 的由來。文中將模型拆為 Embedding、32 個 Transformer Block 和 LM Head,指出約 96% 參數位於 Block,並推導 FFN 中間維度 11008 的由來。
評估數據治理工具,關鍵不在功能清單長短,而在治理能否貫穿研發、元數據、數據質素、口徑管理與資產消費鏈路。文章以阿里雲瓴羊 Dataphin 為例,提出五項評估能力:治理前移至研發、元數據與血緣同步生產、質量監控追查根因、口徑以工程方式約束,以及讓業務人員直接使用數據資產。2026版的 Data Agent 深入融入多個治理場景。
文章示範以 Python 建立商品評價分析流程,涵蓋抓取、清洗去重、情感分析、質素評估與結果視覺化。抓取可優先使用評價 JSON 接口,或在需要時以 Playwright 載入頁面;情感分析可先用 SnowNLP,也可微調中文 BERT。評估會按做工、外觀、物流、性價比及售後等維度統計提及率與情感分,並計算綜合口碑分。
VIDRAFT 的 Darwin-180B-RSI 是一個 180B 參數語言模型,透過遞迴自我改進(RSI)更新,據稱只修改約 0.02% 的參數,其餘約 99.98% 權重保持凍結。模型以 SSD 串流方式在筆記型電腦上推理,速度為 4.17 tokens/second;來源未提供標準基準測試分數或公開存取方式。
SLA 將空間對齊擴展至持續預訓練及下游後訓練,並以預訓練 pi05 policy 為起點,對齊視覺嵌入與凍結的 3D 感知模型所提供的空間表示。模型運用多元機械人數據、特徵依賴閘門及概率狀態 dropout 改善空間理解;輔助組件只在訓練期間使用,推理架構維持不變。
奇富科技於11月4日開源自動建模智能體 ModelEvo 2.0,面向結構化與表格數據,可按用戶設定的業務目標及預算完成建模,並輸出經校驗的模型成果和實驗記錄。
專注建立大型化學數據集的 AI 初創公司 Potential Sciences,獲英國 Sovereign AI Fund 支持,這項支持屬於其八位數融資的一部分。
機械人訓練數據產業快速擴張之際,供應商在採集、加工及交付鏈條上的分工與收益正出現分化,買家則高度集中。文章指出,買家需求由大批量通用第一人稱數據轉向指定場景、指定任務及更細緻的交付標準,驗收不確定與加工成本令供應商承受壓力。部分模型公司亦在建立自有數據生產體系,掌握任務定義、數據標準和訓練反饋,改變第三方供應商的競爭位置。