跳到正文

數據與訓練

訓練側的門道:數據集構建、合成數據、預訓練與後訓練方法、算力與訓練成本。

107條精選相關主題論文研究部署工程模型發佈

最新精選

第 41–60 條 · 共 107 條
10月17日週六
  1. DEV Community78

    Reflection AI 開源 501B 參數 Beam 權重及 Mirror CLI 訓練工具

    Reflection AI 本週開源 Beam 的 501B 參數權重及實際訓練工具 Mirror CLI,權重採用 Apache 2.0 授權。Beam 是稀疏混合專家模型,總參數為 501B、每個 token 啟用 23B,提供 BF16、FP8 和 NVFP4 三種權重格式。目前沒有獨立基準測試,文中的效能説法來自廠商資料。

    推薦理由:Mirror CLI 隨 Beam 一同開源,讓讀者看到權重以外的訓練流程,並評估其對微調及預訓練研究的參考價值。

  2. The Decoder76

    中國擬收緊開放權重模型及 23 項 AI 技術出口管制

    中國商務部及科技部提出修訂出口管制清單的草案,涵蓋大型模型、智能體、算力集羣及數據處理等 23 項 AI 技術。大型模型若以中國「重要數據」訓練並據此提供服務,或出口其核心技術且模型訓練算力達 10^26 FLOPs、參數量至少 2 trillion parameters 或全球排名前 10,便會受管制。

    推薦理由:草案按所用資料、模型規模及部署方式區分管制範圍,並為開源發布設自動許可安排,呈現出口限制與支持本土開源並行的政策設計。

10月16日週五
  1. Hugging Face Blog65

    NVIDIA 宣佈 Nemotron-pretraining-Indic-v1 預訓練語料及開源生成流程即將推出,規模約 2.8 trillion tokens

    NVIDIA 與 IIT Madras、AI4Bharat 介紹 Nemotron-pretraining-Indic-v1,這套涵蓋 22 種印度語言、約 2.8 trillion tokens 的預訓練語料及 GPU 加速開源生成流程即將推出。

    推薦理由:文章交代語料的語言與文字系統覆蓋,並拆解翻譯、品質評估及修復流程,呈現這套生成配方如何按不同語言工作流調整。

10月15日週四
  1. Mistral AI61

    Mistral AI 發佈 Timestral 時序基礎模型系列

    Mistral AI 發佈 Timestral 時序基礎模型系列,提供 5M、28M、123M 和 209M 四種尺寸,支援機率式多變量預測及過去與已知未來協變量。209M 模型在 GIFT-Eval、TIME 和 fev-bench 三個公開基準均排名第一;以三週、每 15 分鐘一筆的歷史資料預測一天,在 8 threads 的標準伺服器 CPU 上耗時 140 ms。

    推薦理由:Timestral 的四種模型尺寸對應不同的預測表現與推理速度,文章提供公開基準結果和 CPU 延遲數據,方便比較準確度與部署效率之間的取捨。

  2. Hugging Face Blog68

    Apertus 1.5 發佈説明:新增圖像與音訊理解,上下文窗口擴至 262,144 tokens

    Apertus 1.5 更新 8B 和 70B 模型,加入圖像與音訊理解及可選思考模式,並將上下文窗口擴至 262,144 tokens。持續預訓練分別為 8B 和 70B 模型加入 4 trillion tokens 和 2 trillion tokens 的文字及多模態訓練資料,總訓練量分別達 19T 和 17T。

    推薦理由:文章同時公開訓練資料、各階段檢查點與可重跑的評測記錄,讀者可據此瞭解 Apertus 1.5 的訓練流程及比較評測結果。

  3. Hugging Face Blog61

    HiRO-ACEv2 推出全球 3 km 氣候模擬,成本約為 X-SHiELD 的 1/300

    HiRO-ACEv2 推出新的降尺度模型 HiROv2,可生成全球 3 km 氣候數據,整套系統成本約為 X-SHiELD 的 1/300。HiROv2 可同時預測多種高解析度氣象場;以降解析度的 X-SHiELD 數據為輸入時,即使是每百萬個數據點才出現一次的事件,高解析度統計與目標模擬仍相差不超過 3%。

    推薦理由:內容比較 HiRO-ACEv2 與 X-SHiELD 的生成成本和極端天氣統計表現,並交代系統目前仍受限於按 X-SHiELD 調校的 ACE。

10月14日週三
  1. MIT News76

    MIT 研究人員參與開發機器學習方法,提升兩至六週天氣預報準確度

    MIT 研究人員參與的團隊開發機器學習後處理模型,透過修正既有預報模型的誤差,提升未來兩至六週的天氣預報準確度。該方案在 ECMWF 預報競賽中獲得第一,預報能力較原模型提升一倍,並首次勝過氣候平均值。研究亦顯示,該方法可改善全球多數地區的陸地預報,並在極端天氣預測上帶來統計上顯著的提升;它也能套用於其他模型。

    推薦理由:這項後處理方法可套用於不同預報模型,並同時改善兩至六週預報與極端天氣預測,呈現機器學習校正長期預報誤差的實際用途。

  2. 創業邦79

    英偉達又在你眼皮子底下完成了一次歷史性轉型

    英偉達正透過一系列交易與人才吸納,把業務由 AI 基礎設施延伸至前沿模型研發,目標是同時製造計算系統與前沿智能。按公開報道及已宣佈的交易安排計算,Groq、Poolside 與 Hugging Face 相關交易規模接近400億美元,涵蓋技術授權、人才吸納、股權投資及待交割收購,並非已支付的併購現金。Hugging Face 收購協議尚待交割;若交易完成,成熟的開發者平台也會加入這個組合。

    推薦理由:文章梳理英偉達對 Groq、Poolside、Hugging Face 的投資、技術授權與人才吸納,如何共同推動其由計算基礎設施延伸至前沿模型研發。

  3. GitHub Blog · AI & ML61

    GitHub 機密偵測模型以較少誤報找出更多憑證

    GitHub 訓練並部署微調 ModernBERT 分類器,與 regex 候選生成組成兩階段機密掃描流程,以周邊脈絡區分真實憑證和相似字串。相較舊有 LLM 流程,線上以儲存庫擁有者加權的接受率提高 11.5%,post-push 掃描中位執行時間降低 86%,服務成本降低逾 98%。

    推薦理由:文章拆解 regex 與微調 ModernBERT 結合的兩階段設計,並以接受率、掃描時間及服務成本數據呈現其相較舊 LLM 流程的變化。

10月7日週三
  1. Hugging Face Blog75

    Nemotron 微調在 IOI 2026 和 IMO 2026 達金牌水平

    研究團隊從 Nemotron 3 出發,結合 SFT、RL 和回饋式推理建立專項系統,在 IOI 2026 得 535.4/600,高於金牌門檻 361.12;在 IMO 2026 得 30/42,高於金牌門檻 29。

    推薦理由:文章並列 IOI 與 IMO 的資料、微調方法及推理流程,呈現專項模型如何配合生成、驗證與修訂環節應對兩類競賽任務。

10月2日週五
  1. Google Research64

    Google Research 介紹採用 TEE 的新一代聯邦學習系統

    Google Research 公佈採用可信執行環境(TEE)的新一代聯邦學習系統,讓伺服器端的數據匿名化處理可供驗證和審計。設備上傳的訓練數據只會交由符合預先授權存取政策的 TEE 工作負載解密處理,相關政策亦發布於 Rekor 公開透明日誌。Gboard 已採用新系統推出英文及日文下一詞預測模型,模型私隱保障更強、準確度更高,計算時間亦較舊系統大幅縮短。

    推薦理由:文章比較舊式聯邦學習與 TEE 架構在服務端可驗證性上的差異,並交代存取政策公開記錄機制及 Gboard 部署後在私隱、準確度和訓練速度上的變化。

9月29日週二
  1. Hugging Face Blog65

    NVIDIA Kumo Tabular 為表格預測樹立準確率與效率的新前沿

    NVIDIA 發佈開放式表格基礎模型 Kumo Tabular,用於表格分類與回歸,可根據帶標籤的上下文列,在單次前向傳播中預測新列標籤,無需訓練、調參或特徵工程。

    推薦理由:文章列出四項基準的結果,並以梯度提升樹、AutoGluon 等方法作對照,為表格預測模型的效能評估提供具體比較參照。

6月5日週五
  1. Hugging Face Blog62

    NVIDIA 發佈 Nemotron 3.5 Content Safety,整合多模態安全判定與自訂政策

    NVIDIA 發佈 Nemotron 3.5 Content Safety,將多模態輸入、多語言覆蓋、自訂企業政策與可審計推理整合至單一 4B 模型。模型基於 Google Gemma 3 4B IT,明確訓練覆蓋 12 種語言,並承接其約 140 種語言的 zero-shot 泛化;可選 THINK mode 會輸出推理軌跡。

    推薦理由:Nemotron 3.5 將多模態判定、自訂政策和可審計推理整合於 4B 模型,並附訓練資料集,提供企業安全審核的部署參考。

5月19日週二
  1. Hugging Face Blog66

    Hugging Face 發佈 Ettin Reranker 系列六款模型,規模涵蓋 17.6M 至 1.00B

    Hugging Face 發佈六款基於 Ettin ModernBERT encoder 的 Sentence Transformers CrossEncoder reranker,參數規模由 17.6M 至 1.00B,並公開訓練數據及完整訓練方案。

    推薦理由:文章以 MTEB(eng, v2) Retrieval、NanoBEIR 及多種硬件吞吐測試比較六種尺寸,呈現 Ettin Reranker 在排序品質與速度間的取捨。

4月29日週三
  1. Hugging Face Blog61

    Granite 4.1 LLM 如何構建:預訓練、微調與強化學習流程

    Granite Team(IBM)詳述 Granite 4.1 的 3B、8B 和 30B 模型構建流程,涵蓋預訓練、監督式微調和多階段強化學習。預訓練以約 15T tokens 分五階段進行,並將上下文窗口擴至最高 512K tokens;其後以約 4.1M 經整理樣本作微調,採用 on-policy GRPO 配合 DAPO loss 進行強化學習。

    推薦理由:文章梳理 Granite 4.1 從約 15T tokens 預訓練、約 4.1M 樣本微調到多階段強化學習的流程,呈現 dense 模型的訓練設計取捨。

3月31日週二
  1. Hugging Face Blog65

    Hugging Face 發佈 TRL v1.0,打造能隨後訓練領域演進的函式庫

    Hugging Face 發佈 TRL v1.0,將已實作超過 75 種後訓練方法的研究程式碼庫明確定位為具穩定性契約的函式庫。穩定核心遵循語義化版本,實驗層則可快速變動;從最後一個 0.x 版本升級只需少量遷移。

    推薦理由:TRL v1.0 把遵循語義化版本的穩定核心與可快速變動的實驗層置於同一套函式庫,呈現下游穩定需求與新方法迭代之間的契約設計。

3月12日週四
  1. Google Research73

    Google Research 推出 Groundsource,以 Gemini 將新聞報道轉化為突發洪水資料

    Google Research 推出 Groundsource,利用 Gemini 從新聞報道抽取突發洪水事件,建立涵蓋 150 多個國家的 2.6 million 筆開放歷史資料集。

    推薦理由:文章列出 Groundsource 的人工核驗數據和 GDACS 事件匹配結果,讓讀者比較新聞抽取資料的時空準確度與既有災害檔案覆蓋情況。

3月10日週二
  1. Hugging Face Blog70

    Hugging Face Hub 推出 Storage Buckets,提供可變的 S3 類物件儲存

    Hugging Face 在 Hub 推出 Storage Buckets,為頻繁變動的 ML 產物提供非版本化 S3 類物件儲存。Buckets 建基於 Xet,以分塊及跨檔案去重減少重複傳輸;Enterprise 計費按去重後的儲存量計算。

    推薦理由:文章交代 Buckets 與版本化倉庫分別承擔工作層和發布層,並説明 Xet 去重如何減少重複傳輸及 Enterprise 的計費儲存量。

3月9日週一
  1. Hugging Face Blog68

    LeRobot 發佈 v0.5.0,擴展機械人硬件、策略模型及資料與模擬功能

    LeRobot 團隊發佈 v0.5.0,擴展機械人硬件、策略模型、資料集處理及模擬環境支援。版本加入 Unitree G1 人形機械人完整支援(包括全身控制)、Pi0-FAST 自回歸 VLA 及 Real-Time Chunking,並新增 EnvHub 以從 Hugging Face Hub 載入模擬環境,亦整合 NVIDIA IsaacLab-Arena。

    推薦理由:版本把人形機械人控制、即時推理、模擬環境和資料提速納入同次更新,呈現 LeRobot 從硬件接入至訓練工具鏈的擴展範圍。

1月13日週二