Nemotron 微調在 IOI 2026 和 IMO 2026 達金牌水平
研究團隊從 Nemotron 3 出發,結合 SFT、RL 和回饋式推理建立專項系統,在 IOI 2026 得 535.4/600,高於金牌門檻 361.12;在 IMO 2026 得 30/42,高於金牌門檻 29。
推薦理由:文章並列 IOI 與 IMO 的資料、微調方法及推理流程,呈現專項模型如何配合生成、驗證與修訂環節應對兩類競賽任務。
研究團隊從 Nemotron 3 出發,結合 SFT、RL 和回饋式推理建立專項系統,在 IOI 2026 得 535.4/600,高於金牌門檻 361.12;在 IMO 2026 得 30/42,高於金牌門檻 29。
推薦理由:文章並列 IOI 與 IMO 的資料、微調方法及推理流程,呈現專項模型如何配合生成、驗證與修訂環節應對兩類競賽任務。
Technology Innovation Institute 推出 Falcon-Emirati-7B,這款基於 Falcon-H1-Arabic、專攻阿聯酋阿拉伯語方言的 7B 模型在 Alyah 得分 84.83%。
uniopen 以 Amazon SageMaker AI 監督式微調及提示詞優化客製化 Amazon Nova 2 Lite,令兩項零售審核分類指標均達到生產門檻。
Ai2 開源 AstaBrief 8B,這款模型可把研究問題和檢索到的文獻摘錄生成帶引用報告,並已在 Asta 的 Generate a report 功能中提供 Fast mode。
Google Research 公佈採用可信執行環境(TEE)的新一代聯邦學習系統,讓伺服器端的數據匿名化處理可供驗證和審計。設備上傳的訓練數據只會交由符合預先授權存取政策的 TEE 工作負載解密處理,相關政策亦發布於 Rekor 公開透明日誌。Gboard 已採用新系統推出英文及日文下一詞預測模型,模型私隱保障更強、準確度更高,計算時間亦較舊系統大幅縮短。
推薦理由:文章比較舊式聯邦學習與 TEE 架構在服務端可驗證性上的差異,並交代存取政策公開記錄機制及 Gboard 部署後在私隱、準確度和訓練速度上的變化。
OpenAI 挫敗一場旨在提取受保護模型推理過程的協同蒸餾行動。該公司正加強防禦,以應對對抗性蒸餾。
NVIDIA 發佈開放式表格基礎模型 Kumo Tabular,用於表格分類與回歸,可根據帶標籤的上下文列,在單次前向傳播中預測新列標籤,無需訓練、調參或特徵工程。
推薦理由:文章列出四項基準的結果,並以梯度提升樹、AutoGluon 等方法作對照,為表格預測模型的效能評估提供具體比較參照。
Google Research 提出 MilleMiglia,一款以 C++ 編寫、用於生成中段物流配送問題擬真基準實例的工具。它以保護私隱的方式生成資料,旨在支援中段物流優化的後續研究。原始碼及文件可於 GitHub 取得。
Google Research 發現,UK Biobank 歐洲樣本有助於小樣本日本族羣 PRS 預測,但 Biobank Japan 訓練樣本達 15k 或以上時,目標族羣專屬模型更佳。
Microsoft Research 公開 GigaPath-Flash 與 GigaTIME-Flash 兩款開放權重病理基礎模型,以降低大規模病理研究的計算成本。
Google Research 提出 SensorFM 大型感測器基礎模型,以來自五百萬名參與者的逾一萬億分鐘未標註穿戴式裝置訊號學習通用生理表徵。凍結模型編碼器後訓練的線性探測,在 35 項健康任務中的 34 項勝過特徵工程監督基線。在 31 份參與者檔案的評估中,加入 SensorFM 預測提升個人健康智能體摘要在五個評分維度的表現;與以真實測量值作依據的摘要評分則沒有統計顯著差異。
Google Research 發佈 TabFM,這款表格數據基礎模型以上下文學習執行分類與回歸,並可在單次前向傳遞中預測。TabFM 以結構因果模型動態生成的數億個合成資料集訓練,並在 TabArena 的 38 個分類與 13 個回歸資料集上評測。
Google Research 發佈由 Farmscapes 2020 像素地圖轉製的英格蘭農地向量數據集,列出樹籬、石牆與樹叢等細尺度生態要素。
Google Research 提出 Regularized f-Divergence Kernel Tests,以相對距離檢驗審核機器遺忘,並於 AISTATS 2026 發表。
NVIDIA 發佈 Nemotron 3.5 Content Safety,將多模態輸入、多語言覆蓋、自訂企業政策與可審計推理整合至單一 4B 模型。模型基於 Google Gemma 3 4B IT,明確訓練覆蓋 12 種語言,並承接其約 140 種語言的 zero-shot 泛化;可選 THINK mode 會輸出推理軌跡。
推薦理由:Nemotron 3.5 將多模態判定、自訂政策和可審計推理整合於 4B 模型,並附訓練資料集,提供企業安全審核的部署參考。
Google將新型密碼學聚合協定與可信執行環境(TEE)結合,為私隱分析建立零信任防護,確保Google只能取得匿名化的羣體彙總洞察。新協定讓裝置以單一訊息提交資料,免須在多輪互動期間持續在線;密碼學層確保個人原始資料不會在任何伺服器記憶體中暴露或重建。
Hugging Face 發佈六款基於 Ettin ModernBERT encoder 的 Sentence Transformers CrossEncoder reranker,參數規模由 17.6M 至 1.00B,並公開訓練數據及完整訓練方案。
推薦理由:文章以 MTEB(eng, v2) Retrieval、NanoBEIR 及多種硬件吞吐測試比較六種尺寸,呈現 Ettin Reranker 在排序品質與速度間的取捨。
Granite Team(IBM)詳述 Granite 4.1 的 3B、8B 和 30B 模型構建流程,涵蓋預訓練、監督式微調和多階段強化學習。預訓練以約 15T tokens 分五階段進行,並將上下文窗口擴至最高 512K tokens;其後以約 4.1M 經整理樣本作微調,採用 on-policy GRPO 配合 DAPO loss 進行強化學習。
推薦理由:文章梳理 Granite 4.1 從約 15T tokens 預訓練、約 4.1M 樣本微調到多階段強化學習的流程,呈現 dense 模型的訓練設計取捨。
Granite 4.0 3B Vision 現已推出,是面向企業文件理解的緊湊型視覺語言模型,支援表格抽取、圖表理解及語義鍵值對抽取。模型以 LoRA adapter 形式構建於 Granite 4.0 Micro 之上,可獨立使用或配合 Docling,並以 Apache 2.0 授權在 Hugging Face 提供。
Hugging Face 發佈 TRL v1.0,將已實作超過 75 種後訓練方法的研究程式碼庫明確定位為具穩定性契約的函式庫。穩定核心遵循語義化版本,實驗層則可快速變動;從最後一個 0.x 版本升級只需少量遷移。
推薦理由:TRL v1.0 把遵循語義化版本的穩定核心與可快速變動的實驗層置於同一套函式庫,呈現下游穩定需求與新方法迭代之間的契約設計。
Google Research 開發 S2Vec,透過自監督學習將建成環境特徵轉為通用嵌入向量。評測中,S2Vec 在美國人口密度及中位收入等未見地區的零樣本地理適應任務中,通常是表現最佳的單一模型,但樹冠覆蓋、海拔等環境任務仍有改進空間。S2Vec 與影像嵌入向量融合,整體通常優於單一模態。
Google Research 推出 Groundsource,利用 Gemini 從新聞報道抽取突發洪水事件,建立涵蓋 150 多個國家的 2.6 million 筆開放歷史資料集。
推薦理由:文章列出 Groundsource 的人工核驗數據和 GDACS 事件匹配結果,讓讀者比較新聞抽取資料的時空準確度與既有災害檔案覆蓋情況。
Hugging Face 在 Hub 推出 Storage Buckets,為頻繁變動的 ML 產物提供非版本化 S3 類物件儲存。Buckets 建基於 Xet,以分塊及跨檔案去重減少重複傳輸;Enterprise 計費按去重後的儲存量計算。
推薦理由:文章交代 Buckets 與版本化倉庫分別承擔工作層和發布層,並説明 Xet 去重如何減少重複傳輸及 Enterprise 的計費儲存量。
LeRobot 團隊發佈 v0.5.0,擴展機械人硬件、策略模型、資料集處理及模擬環境支援。版本加入 Unitree G1 人形機械人完整支援(包括全身控制)、Pi0-FAST 自回歸 VLA 及 Real-Time Chunking,並新增 EnvHub 以從 Hugging Face Hub 載入模擬環境,亦整合 NVIDIA IsaacLab-Arena。
推薦理由:版本把人形機械人控制、即時推理、模擬環境和資料提速納入同次更新,呈現 LeRobot 從硬件接入至訓練工具鏈的擴展範圍。
NXP 分享將機械人 AI 部署到嵌入式平台的實踐指南,涵蓋數據集錄製、ACT 與 SmolVLA 微調,以及 i.MX 95 上的 VLA 推理優化。實驗以把茶包放入杯中為任務,使用 3 部攝影機;文章建議保留獨立驗證集,並以非同步方式計算下一動作區塊,但推理時間須短於當前動作執行時間。
Google Research 提出 MapTrace,以合成數據訓練多模態大語言模型(MLLM)在地圖上追蹤有效路徑,應對模型難以理解空間幾何與拓撲關係的問題。
Google Research提出 Sequential Attention,將子集選擇整合至單次模型訓練,以較低開銷提升模型效率並維持準確度。該方法以注意力分數逐步挑選特徵,在多項神經網絡基準測試中取得最先進結果。
Google Research 提出 ATLAS 多語言 scaling laws,相關研究將於 ICLR 2026 發表,基於 774 次訓練實驗,涵蓋 10M–8B 參數模型。
Google Research 在 NeurIPS 2025 介紹 GIST,這種資料子集選取演算法兼顧多樣性與效用。GIST 保證所選子集的價值至少達絕對最優解價值的一半,並在圖像分類等基準任務中超越最先進方法。
Google Research 在 Science Advances 發表 NeuralGCM 降水研究,報告模型在 280 km 解析度下改善最長 15 天的降水預報及多年氣候模擬。
推薦理由:研究展示以 NASA 衞星降水觀測直接訓練 NeuralGCM 機器學習部分的做法,並呈現極端降水與日變化模擬的改善。
Transformers v5 將分詞器架構與訓練所得的詞彙、合併規則分離,並在類別中明確呈現正規化器等組件。相較 v4 每個模型各有 slow/fast 兩套實作,v5 改為每個模型一個檔案,預設採用 Rust-based TokenizersBackend;分詞器類別亦可直接實例化並用自有語料訓練。
推薦理由:文章對照 v4 與 v5,説明分離分詞器架構和訓練詞彙後,如何更直接檢查組件,並沿用模型架構訓練自訂分詞器。
Google Research 提出 Urania,以差分隱私分析 AI 聊天機械人對話,提供端到端形式化隱私保證,避免單一對話過度影響摘要。框架透過差分隱私聚類及關鍵詞提取,再讓 LLM 僅根據經私隱保護的關鍵詞生成摘要,不接觸原始對話。與非差分隱私基線比較時,LLM 評估者在一項評測中最多有 70% 的情況偏好 Urania 的摘要。
Hugging Face Skills 讓 Claude Code 等編碼智能體透過對話處理模型微調,涵蓋資料集驗證、GPU 選擇、雲端工作提交與進度監控。它亦兼容 Codex 和 Gemini CLI;文中以 Qwen3-0.6B 在 open-r1/codeforces-cots 上進行 SFT 為例,估算使用 t4-small 約需 20 分鐘、成本約 $0.30。
推薦理由:文章將資料集驗證、GPU 選擇、雲端工作提交與進度監控串成智能體訓練流程,並比較 SFT、DPO、GRPO 的適用場景。
Google Research 發佈 JAX-Privacy 1.0,這套建基於 JAX 的工具包旨在簡化大型資料集上的差分隱私模型訓練與審計。它提供逐樣本梯度裁剪、噪聲添加、批次建構及 DP-SGD、DP-FTRL 等算法組件,並支援 JAX 的並行訓練流程。
Google DeepMind公佈生物圈研究進展,涵蓋森林砍伐風險預測、地球物種分佈製圖,以及生物聲學模型 Perch 的更新。
Google Research 與 Google DeepMind 發表 ForestCast,以純衞星資料預測森林砍伐風險,並公開首個專供相關深度學習模型訓練的基準資料集。
Hugging Face 改進 datasets 與 huggingface_hub 的資料集串流,資料檔解析快 10 倍、啟動請求最多減少 100 倍,串流速度最高提升至原來的 2 倍。
推薦理由:文章拆解跨 DataLoader workers 快取與 Parquet 預取如何改善資料解析和吞吐,並列出 256 workers 下的請求量及穩定性結果,呈現大規模串流訓練的優化方向。
LeRobot 發佈 v0.4.0,加入 Datasets v3.0、VLA 模型 PI0 和 PI0.5、GR00T N1.5,以及硬件插件系統。Datasets v3.0 採用分塊 episode 格式並支援串流,可處理 OXE 級(> 400GB)資料集。
推薦理由:資料集規模化、模擬評測、多 GPU 訓練和硬件插件同時更新,勾勒出 LeRobot 從資料處理到機械人控制的工具鏈演進。
NVIDIA 發佈 Nemotron-Personas-India,一套依印度人口、地理及文化分佈合成的人物設定數據集,採用 CC BY 4.0 授權。數據集包含 21 million 個人物設定(3M 條記錄、每條 7 個設定),支援英語及以天城文、拉丁字母書寫的印地語,並有 27 個欄位和 7.7 billion tokens。
推薦理由:數據集以印度人口、地域分佈為基礎,涵蓋英語及兩種文字形式的印地語,並採 CC BY 4.0 授權,呈現其作為區域模型訓練素材的語言覆蓋與使用條件。
NVIDIA 發佈 Nemotron-Personas-Japan,一個按日本人口與勞動統計構建、以 CC BY 4.0 授權的開放合成數據集,包含 100 萬條記錄、共 600 萬個日語人物設定。每條記錄含 22 項資料,數據集約有 14 億 tokens,並涵蓋 1500 種以上職業類別。數據集不含個人可識別資訊,可用於日語模型微調、合成對話生成及偏差與公平性測試。