Sequential Attention:讓 AI 模型在不犧牲準確度下更精簡、更快速
Google Research提出 Sequential Attention,將子集選擇整合至單次模型訓練,以較低開銷提升模型效率並維持準確度。該方法以注意力分數逐步挑選特徵,在多項神經網絡基準測試中取得最先進結果。
Google Research提出 Sequential Attention,將子集選擇整合至單次模型訓練,以較低開銷提升模型效率並維持準確度。該方法以注意力分數逐步挑選特徵,在多項神經網絡基準測試中取得最先進結果。
Google Research 提出 ATLAS 多語言 scaling laws,相關研究將於 ICLR 2026 發表,基於 774 次訓練實驗,涵蓋 10M–8B 參數模型。
Google Research 在 NeurIPS 2025 介紹 GIST,這種資料子集選取演算法兼顧多樣性與效用。GIST 保證所選子集的價值至少達絕對最優解價值的一半,並在圖像分類等基準任務中超越最先進方法。
Google Research 在 Science Advances 發表 NeuralGCM 降水研究,報告模型在 280 km 解析度下改善最長 15 天的降水預報及多年氣候模擬。
推薦理由:研究展示以 NASA 衞星降水觀測直接訓練 NeuralGCM 機器學習部分的做法,並呈現極端降水與日變化模擬的改善。
Transformers v5 將分詞器架構與訓練所得的詞彙、合併規則分離,並在類別中明確呈現正規化器等組件。相較 v4 每個模型各有 slow/fast 兩套實作,v5 改為每個模型一個檔案,預設採用 Rust-based TokenizersBackend;分詞器類別亦可直接實例化並用自有語料訓練。
推薦理由:文章對照 v4 與 v5,説明分離分詞器架構和訓練詞彙後,如何更直接檢查組件,並沿用模型架構訓練自訂分詞器。
Google Research 提出 Urania,以差分隱私分析 AI 聊天機械人對話,提供端到端形式化隱私保證,避免單一對話過度影響摘要。框架透過差分隱私聚類及關鍵詞提取,再讓 LLM 僅根據經私隱保護的關鍵詞生成摘要,不接觸原始對話。與非差分隱私基線比較時,LLM 評估者在一項評測中最多有 70% 的情況偏好 Urania 的摘要。
Hugging Face Skills 讓 Claude Code 等編碼智能體透過對話處理模型微調,涵蓋資料集驗證、GPU 選擇、雲端工作提交與進度監控。它亦兼容 Codex 和 Gemini CLI;文中以 Qwen3-0.6B 在 open-r1/codeforces-cots 上進行 SFT 為例,估算使用 t4-small 約需 20 分鐘、成本約 $0.30。
推薦理由:文章將資料集驗證、GPU 選擇、雲端工作提交與進度監控串成智能體訓練流程,並比較 SFT、DPO、GRPO 的適用場景。
Google Research 發佈 JAX-Privacy 1.0,這套建基於 JAX 的工具包旨在簡化大型資料集上的差分隱私模型訓練與審計。它提供逐樣本梯度裁剪、噪聲添加、批次建構及 DP-SGD、DP-FTRL 等算法組件,並支援 JAX 的並行訓練流程。
Google DeepMind公佈生物圈研究進展,涵蓋森林砍伐風險預測、地球物種分佈製圖,以及生物聲學模型 Perch 的更新。
Google Research 與 Google DeepMind 發表 ForestCast,以純衞星資料預測森林砍伐風險,並公開首個專供相關深度學習模型訓練的基準資料集。
Hugging Face 改進 datasets 與 huggingface_hub 的資料集串流,資料檔解析快 10 倍、啟動請求最多減少 100 倍,串流速度最高提升至原來的 2 倍。
推薦理由:文章拆解跨 DataLoader workers 快取與 Parquet 預取如何改善資料解析和吞吐,並列出 256 workers 下的請求量及穩定性結果,呈現大規模串流訓練的優化方向。
LeRobot 發佈 v0.4.0,加入 Datasets v3.0、VLA 模型 PI0 和 PI0.5、GR00T N1.5,以及硬件插件系統。Datasets v3.0 採用分塊 episode 格式並支援串流,可處理 OXE 級(> 400GB)資料集。
推薦理由:資料集規模化、模擬評測、多 GPU 訓練和硬件插件同時更新,勾勒出 LeRobot 從資料處理到機械人控制的工具鏈演進。
NVIDIA 發佈 Nemotron-Personas-India,一套依印度人口、地理及文化分佈合成的人物設定數據集,採用 CC BY 4.0 授權。數據集包含 21 million 個人物設定(3M 條記錄、每條 7 個設定),支援英語及以天城文、拉丁字母書寫的印地語,並有 27 個欄位和 7.7 billion tokens。
推薦理由:數據集以印度人口、地域分佈為基礎,涵蓋英語及兩種文字形式的印地語,並採 CC BY 4.0 授權,呈現其作為區域模型訓練素材的語言覆蓋與使用條件。
NVIDIA 發佈 Nemotron-Personas-Japan,一個按日本人口與勞動統計構建、以 CC BY 4.0 授權的開放合成數據集,包含 100 萬條記錄、共 600 萬個日語人物設定。每條記錄含 22 項資料,數據集約有 14 億 tokens,並涵蓋 1500 種以上職業類別。數據集不含個人可識別資訊,可用於日語模型微調、合成對話生成及偏差與公平性測試。
研究提出 A2D-VL 7B,透過微調 Qwen2.5-VL,將自回歸視覺語言模型改編為可並行生成的擴散模型。方法逐步增加預測窗口至 8 tokens,並採用區塊大小退火和噪聲水平退火,以保留基礎模型的能力。
SyGra 是面向 LLM 和 SLM 的低程式碼/無程式碼框架,用於簡化資料集建立、轉換與對齊,讓團隊可專注於提示詞工程。它透過 Python 程式庫整合現有 ML 工作流程,支援 vLLM、Hugging Face TGI、Triton 和 Ollama 等推理後端。框架可生成 Q&A、DPO、推理及多語言資料,亦支援篩選和整理資料。
Together AI 宣佈可透過其平台微調 Hugging Face Hub 上兼容的 LLM,微調後模型可供推理、下載或推回 Hub。流程以 Together 官方目錄中的基礎模型提供訓練配置,自選的 Hugging Face 模型則是實際微調對象;文中稱一般預期支援 100B params 以下的 CausalLM 模型。
推薦理由:文章交代了基礎模型提供訓練配置、自選 Hub 模型作為微調對象的分工,並列出讀取私有模型與將訓練結果推回 Hub 的接入流程。
mmBERT 以 ModernBERT 為基礎推出,使用超過 3T tokens 的多語言文本訓練,並在最後階段納入 FineWeb2 的 1,833 種語言。
推薦理由:mmBERT 展示分階段擴充語言、逐步降低遮罩率的訓練設計,並報告在最後 100B tokens 才納入的低資源語言上取得明顯提升。
Google 發佈 EmbeddingGemma,一款支援 100 多種語言、具備 308M parameters 和 2K context window 的多語言嵌入模型。文章示範以 Sentence Transformers、LangChain 等工具接入模型,並在 MIRIAD 醫療檢索測試中將微調版的 NDCG@10 提升至 0.8862,基礎模型為 0.8340。
推薦理由:文章提供 EmbeddingGemma 接入多個檢索框架的程式示例,並説明查詢與文件提示詞的設定方式,方便將模型納入既有檢索流程。
研究提出 word2vec 學習過程的定量理論,證明在若干實際可行條件下,其學習可化為無權最小二乘矩陣分解,最終表示由 PCA 給出。從接近零的隨機初始化出發,word2vec 以離散步驟逐一學得正交線性子空間,每步提高嵌入矩陣的秩;這些特徵對應由語料統計及演算法超參數定義的目標矩陣頂部特徵向量。
Hugging Face 推出開源無代碼工具 AI Sheets,讓用户使用 AI 模型建立、豐富及轉換資料集。它以試算表介面新增提示詞欄位,支援透過 Inference Providers 使用 Hugging Face Hub 上數以千計的開放模型,也可使用本地模型,並可本機部署或部署至 Hub。
推薦理由:AI Sheets 將提示詞生成、人工校訂與資料集匯出串成工作流,校訂及按讚的儲存格可作為 few-shot 範例供後續生成重用。
Mistral 以 Aerial Image Dataset 微調 Pixtral-12B,將衞星影像分類的整體準確率由 0.56 提升至 0.91,幻覺比例則由 5% 降至 0.1%。
Hugging Face 推出免費開源的實驗追蹤 Python 庫 Trackio,提供本地 Gradio dashboard,並可同步至 Hugging Face Spaces 分享。
Mistral AI 公佈其 LLM 生命週期環境影響研究,披露 Mistral Large 2 及 Le Chat 的碳、水與資源消耗數據。
Ettin Suite 發佈涵蓋 17M-1B 參數的配對編碼器與解碼器模型,兩者使用相同的 2T tokens 公開數據及訓練配方。編碼器在各項任務及規模上超越 ModernBERT,解碼器則勝過或追平 Llama 3.2 和 SmolLM2。同條件測試中,編碼器在分類和檢索任務較佔優,解碼器在生成任務較佔優;模型涵蓋六種規模,訓練數據公開且可重現。
推薦理由:Ettin 在相同的數據、模型規模與訓練配方下比較編碼器和解碼器,呈現兩類架構在分類、檢索和生成任務上的不同優勢。
Falcon-LLM Team 發佈 Falcon-H1 開放權重混合架構模型系列,涵蓋六種規模、由 0.5B 至 34B,並提供 base 與 instruction-tuned 版本。
推薦理由:文中對照 Qwen2.5-32B 的短、長上下文吞吐,並説明混合 Attention-SSM 設計,呈現 Falcon-H1 隨序列長度變化的效率取捨。
阿聯酋 Technology Innovation Institute(TII)推出 Falcon-Arabic,這款基於 Falcon 3 架構的 7B 參數模型支援阿拉伯語、英語及其他語言。它在 OALL v2 評測中勝過同規模阿拉伯語 LLM,並超越規模大至 4× 的模型。其上下文窗口為 32,000 tokens,可處理長文件並支援 RAG 等應用。
Hugging Face Blog 的 hlky 和 Sayak 介紹一套建立影片生成模型微調資料集的三階段工具流程,讓社羣能自行製作小型資料集。流程以 yt-dlp 下載影片、用 Video to Scenes 切成短片,再以影格或全片指標篩選,並用 Florence-2 生成字幕、辨識物件及進行 OCR;也可用 Qwen2.5 為整段影片加字幕。
Hugging Face 推出 Synthetic Data Generator,讓用户以自然語言描述需求,無需編寫程式碼即可生成文字分類或聊天數據集。
推薦理由:文章展示由自然語言描述生成分類或聊天數據集,再用 Argilla 審核並交由 AutoTrain 訓練模型的流程,也説明如何自訂模型與生成配置。
Hugging Face 與 Entalpic 宣佈啟動開源協作計劃 LeMaterial,並發布首個數據集 LeMat-Bulk,整合 Materials Project、Alexandria 和 OQMD,含 6.7M 條目及 7 項材料屬性,採用 CC-BY-4.0 授權。
Data is Better Together 社羣發佈採 Apache 2.0 授權的文生圖偏好數據集 open-image-preferences-v1,涵蓋多種生成類別、模型系列及提示詞複雜度。
Argilla 2.4 新增免程式 UI 工作流程,讓使用者從 Hugging Face Hub 匯入資料集、配置欄位與問題,再收集人工回饋以整理微調或評測資料。首版只支援公開 Hub 資料集;部署在 Spaces 時,預設啟用 Hugging Face OAuth,讓 Hub 使用者參與標註。
Cohere For AI 發佈 Aya Expanse 8B 和 32B 開放權重模型,並公開多語言訓練流程的技術細節。
推薦理由:文章拆解多語言訓練中的模型池數據仲裁、離線與線上偏好訓練及模型合併流程,呈現改善多語言表現的具體技術路徑。
Hugging Face Blog 示範以 Dask 和 Coiled 把 FineWeb-Edu 網頁分類流程,從 pandas 本機處理 100 行擴展至雲端多 GPU 處理 211 million 行。
推薦理由:FineWeb-Edu 分類案例呈現了由 pandas 本機小批次測試,擴展至 Dask 與 Coiled 雲端多 GPU 處理 211 million 行資料的完整流程,為大型資料集推理提供可參照的工程做法。
OpenAI 的 API 模型蒸餾可在 OpenAI 平台上,使用大型前沿模型的輸出微調較具成本效益的模型。
推薦理由:這項 API 流程把大型前沿模型的輸出用於微調較具成本效益的模型,概述了在 OpenAI 平台內進行模型蒸餾的基本做法。
Runway 與 Lionsgate 宣佈合作,將共同建立並訓練一款以 Lionsgate 專有片庫定製的 AI 模型,協助 Lionsgate Studios 及其創作團隊拓展工作流程。模型可生成電影感影片,並透過 Runway 的可控工具套件進一步迭代。Runway 亦正考慮以授權或其他方式,把這些模型作為模板提供予有意建立及訓練自有專有模型的個人創作者。
Hugging Face 在 Hub 的資料集頁面推出 SQL Console,讓用户直接在瀏覽器以 SQL 查詢和篩選資料集。它由 DuckDB WASM 驅動,不需伺服器或後端;非 Parquet 格式的資料集會自動轉換前 5GB,查詢結果可匯出為 Parquet,公開資料集的結果亦可透過連結分享。
推薦理由:SQL Console 以 DuckDB WASM 在瀏覽器查詢資料集,並示範用 SQL 將 Alpaca 格式轉為對話格式,提供一個可參照的資料整理流程。
OpenAI 現已開放 GPT-4o 微調。
Mistral AI 宣佈在 La Plateforme 開放旗下旗艦及專用模型自訂,並推出 Agents 早期版本及 mistralai 1.0 客户端 SDK。
推薦理由:這次發布把模型自訂、Agents 工作流程與客户端 SDK 更新並列,呈現 Mistral AI 如何涵蓋應用構建中的模型調整、流程編排和程式接入環節。
Hugging Face Blog 介紹 TextImage Augmentation,這套與 Albumentations AI 合作開發的流程可同步增強文件圖像及其中的文字標註。它可隨機插入、刪除或交換文字,並搭配圖像變換生成多樣化訓練樣本。變更後文字及對應 bounding box 可提取,用於模型訓練。