跳到正文
10月9日週五
  1. 創業邦46

    原創

    具身智能領域的創業者與研究者認為,機器人不必等到模型足夠強大才進入現實場景,可透過人機共駕和真實場景數據逐步提升操作能力。靈御智能的機器人已在超市執行試吃等任務,遇到困難時由人遠程介入。嘉賓指出,觸覺、真人與真機操作數據,以及系統工程和經濟效率,是機器人落地的重要課題。

  2. HuggingFace Daily Papers(社區熱門論文)48

    MiMo-V2.6:擴大強化學習規模,邁向自我改進

    MiMo-V2.6 全模態系列透過擴大強化學習算力,推進模型智能水平,並朝自我改進邁進。訓練每步使用 1,568 個樣本及 2.7-3.7B tokens,上下文長度最高達 1M,環境涵蓋程式碼、通用、視覺及網絡安全領域。項目開源訓練動態、強化學習環境及框架,便利重現和進一步研究。

  3. 創業邦50

    日薪120元,我給機械人當「老師」:五位數據採集員講述工作日常

    五位機械人數據採集從業者分享以日常動作錄製訓練數據的工作經歷,並談到薪酬、考核和身體負擔。採集方式包括戴 VR 頭顯遙操作、使用 UMI 手持夾爪,以及以第一人稱視角相機錄影;錄製的數據需經審核,部分任務要反覆操作。受訪者對這份工作的看法不一,有人視為過渡工作,也有人從操作經驗和參與機械人演示中獲得成就感。

  4. MIT News50

    三個問題:AI 在學術界的最佳前進方向是甚麼?

    MIT 統計與數據科學中心主任 Sasha Rakhlin 指出,面對 AI 改變學術研究與研究生教育,大學應重新思考研究評價、訓練方式,並建設共享科研基礎設施。他建議明確記錄研究者的貢獻與知識責任,並讓研究生學會提出問題、審核模型輸出和重現結果。他也主張投資運算資源、安全數據系統,以及調適和後訓練 AI 模型所需的專業能力,連接各實驗室的工作流程。

  5. Databricks:Blog46

    生物醫學影像的真正瓶頸是數據,而非模型

    生物醫學影像研究的真正瓶頸是數據難以存取、整理和共享,而非模型本身。EXAM 研究由 20 間機構共同訓練預測 COVID-19 氧氣需求的模型,患者數據留在各機構,聯邦模型的 AUC 平均提升 16%、泛化能力提升 38%。影像格式與標註差異,以及私隱和治理要求,令跨機構協作仍然困難。

  6. HuggingFace Daily Papers(社區熱門論文)41

    重新審視 On-policy 知識蒸餾中的相對策略差異遷移

    研究為 On-policy 知識蒸餾(OPD)建立統一框架,界定相對策略差異何時可有效監督目標策略。實驗顯示,強化學習或監督式微調形成的差異可穩定遷移,單靠模型規模形成的差異則效果微弱或無效。遷移須令目標策略接近專家並泛化至抽樣軌跡以外;適當參考策略可過濾共同行為,策略距離本身不能預測成效。

  7. HuggingFace Daily Papers(社區熱門論文)41

    SimVTA:以模擬為基礎的影片與軌跡對齊,應用於駕駛世界動作模型

    SimVTA 結合模擬器渲染的未來影片監督與強化學習軌跡最佳化,提升駕駛世界動作模型的規劃表現。NAVSIM v1 上,對 WAM 初始化模型應用 SimVTA 後,PDMS 由 86.2 升至 91.3(+5.1);NAVSIM v2 得 88.2 EPDMS,HUGSIM 閉環評估的平均 HD-Score 為 38.8。推理時,模型直接預測軌跡,無須呼叫模擬器。

  8. HuggingFace Daily Papers(社區熱門論文)45

    多流注意力殘差(MSAR)

    論文提出多流注意力殘差(MSAR),將 AttnRes 擴展為多頭深度注意力,並在 18B、28B MoE 規模的 12 項下游評測中均優於標準殘差、mHC 和 AttnRes。縮放定律實驗顯示,相較標準殘差基線,MSAR 的等損失計算速度提升 1.58 倍,高於 AttnRes 的 1.35 倍及 mHC 的 1.30 倍。MSAR 保留單流來源並按需擴展多流計算,無須持續儲存或通訊多流表示。

  9. HuggingFace Daily Papers(社區熱門論文)34

    超越領域路由監督:Road MOPD 的多教師在策略蒸餾跨教師防護方法

    Road MOPD 為多教師在策略蒸餾提出跨教師防護,讓非路由教師在同一學生生成軌跡上提供跨領域評判,並透過 token 級信用分配及梯度投影協調監督與更新。實驗顯示,該方法可減輕處於劣勢領域的效能下降;高衝突設定下提升超過 5 個百分點,並改善低衝突及三領域設定的整體表現。

  10. HuggingFace Daily Papers(社區熱門論文)40

    ClawLoop: Self-Improving Agents via Harness-Native Training Loop

    ClawLoop 提出一套無需外部教師模型、依賴先驗知識極少的自我改進框架,讓智能體透過任務合成、訓練及診斷回饋形成循環。以 Qwen3.6-27B 作為循環模型時,ClawLoop 在 SkillsBench、Claw-Eval-Live 和 ClawGym-Bench 均取得持續提升。循環中反覆優化的任務轉移至 Qwen3.5-4B 和 9B 後,亦在所有基準測試中帶來提升。

  11. HuggingFace Daily Papers(社區熱門論文)36

    以合成自我蒸餾持續後訓練小型模型

    研究提出合成自我蒸餾方法 SynthSelf,將任務交由同一模型系列中規模略大的 aligner 處理,為小型模型提供監督,同時避免破壞其原有分佈。SynthSelf 在 4 個能力獲取數據集及 14 個知識保留基準上,於 3 種小型模型規模均勝過 6 種方法。

  12. HuggingFace Daily Papers(社區熱門論文)43

    TerminalHorizon:擴展長時程終端智能體數據

    研究提出 TerminalHorizon,一套為長時程終端智能體合成數據的全自動引擎,並據此構建 1.5K 個任務環境。以所得數據監督式微調 Qwen3.5-27B 後,得到 TerminalHorizon-27B;該模型在涵蓋編碼智能體、真實生產環境智能體及一般推理的 12 項基準測試中均取得顯著提升。

  13. HuggingFace Daily Papers(社區熱門論文)45

    以更少訓練學得更多:不確定性引導的漸進式收縮,提升推理後訓練效率

    研究提出不確定性引導的漸進式收縮框架,聚焦高價值推理監督資料,並按學生模型的學習狀態調整 SFT,以降低訓練成本。實驗顯示,所需優化預算最低僅為全數據 SFT 的 0.22%,訓練曝光量減少逾 450 倍,同時維持或提升推理表現。此方法亦能泛化至不同學生模型系列、黑盒教師及弱轉強遷移。

  14. HuggingFace Daily Papers(社區熱門論文)45

    Branching On-Policy Distillation

    BranchOPD 透過學生模型的不確定性與師生分歧選取決策點,從共享前綴重新取樣後續生成,並對主軌跡及分支提供 token 級教師監督。在 ALFWorld 和 WebShop,重用共享前綴分別令學生生成 token 成本降低約 19% 和 31%;各項評測基準中,BranchOPD 均勝過 Vanilla OPD 和 Multi-Rollout OPD(n=7)。

  15. HuggingFace Daily Papers(社區熱門論文)48

    DSReg: Provably Recovering Individual World Latents without Reconstruction

    DSReg 在 Structural Diversity 條件下,無需重建、解碼器或標籤,即可恢復個別世界潛變量,結果僅差符號置換。它可後置套用於任何線性可辨識表示,重用已訓練檢查點,且效果不遜於聯合訓練。測試顯示,DSReg 保留密集預測能力,同時提升個別潛變量恢復及下游應用表現。

  16. Latent Space51

    Periodic Labs 的 Liam Fedus 與 Ekin Dogus Cubuk 探討「合成超級智能」及從半導體到超導體

    Periodic Labs 的 Liam Fedus 與 Ekin Doğuş Çubuk 在訪談中闡述「合成超級智能」願景,主張結合強化學習、模擬和真實世界實驗推進材料發現。他們指出,材料探索須經歷預測、合成和表徵,且實驗數據存在噪聲、不確定性和資訊缺漏。訪談亦討論模擬與實驗如何互補,以及科研過程和失敗實驗對模型訓練的價值。

  17. HuggingFace Daily Papers(社區熱門論文)38

    Composing What Each Teacher Learned: Multi-Teacher On-Policy Distillation through Teacher-Relative Shifts

    Δ-MOPD 將教師相對於基礎模型的 logit 偏移重新錨定至學生的凍結初始化,用於多教師 on-policy 蒸餾,並與端點監督作比較。三位教師組合時,Δ-MOPD 的 Math 高 4.11 分、五項基準高 1.95 分;分階段路由時,平均表現較高,觀察到的順序差距由 10.50 分降至 6.42 分。結果顯示,目標構建方式是多教師蒸餾中獨立於教師選擇的設計因素。

10月8日週四
  1. Zyphra Research52

    Zyphra Research 研究利用 MoE 專家耦合降低預訓練通訊開銷

    Zyphra Research 提出兩種利用 MoE 路由相關性的系統優化方法,以降低分散式預訓練中的 GPU 通訊開銷,且不改變模型架構或路由決策。方法包括把經常由同一 token 選中的專家放在同一 GPU,以及根據前層路由預測下一層專家並移動 token;後者可併入原有 reduce-scatter,不增加網絡流量。

  2. HuggingFace Daily Papers(社區熱門論文)40

    以純量伴隨匹配進行 Q-learning

    研究提出 Q-learning with Scalar Adjoint Matching(SQAM),結合純量伴隨匹配與政策生成動作上的價值懲罰,以微調 flow policy。在 OGBench 最具挑戰的四個領域,SQAM 的成功率較各領域最強基線高 18 至 35 個百分點。在真實雙臂機械人上微調視覺語言動作政策時,SQAM 在全部三項任務的表現均優於監督式微調。

  3. MIT Technology Review · AI64

    AI 機械人突破短期內難以改變日常生活

    AI 機械人研究雖有進展,但現有系統仍難以泛化至訓練資料以外的任務,可靠度亦不足,短期內難以改變日常生活。Physical Intelligence 的 π0.7 曾嘗試把番薯放入氣炸鍋,但訓練資料中已有少量相關遙操作示範,而且機械人未能完整完成任務。目前的實際部署仍限於受控環境中的簡單工作,示範中的成功率提升也未必代表機械人已能可靠地在家庭或工廠使用。

  4. Reflection Blog65

    Reflection 公佈打造前沿開放智能的下一階段計劃

    Reflection 宣佈進入下一階段,致力打造人人可用的前沿開放智能,並已組建 AI 團隊、建立前沿 LLM 訓練平台及籌得 $2 billion。其大規模 LLM 與強化學習平台可訓練前沿規模的 MoE 模型,公司正把相關方法由自主編碼拓展至通用智能體推理。公司亦表示會在發佈前評估模型能力與風險,投入安全研究,並制定負責任部署標準。

  5. Cartesia 產品與研究57

    Mamba-3B-SlimPJ 發佈,訓練 FLOPs 少 17% 並匹配同級 Transformer

    Cartesia 與 Together 發佈 Mamba-3B-SlimPJ,這款 2.8B 參數模型以 600B tokens 訓練,採 Apache 2.0 授權。它以少 17% 訓練 FLOPs,達到 BTLM-3B-8K 等強勁 3B Transformer 的模型品質。訓練使用 SlimPajama 數據集、上下文長度為 2048,模型亦可作為實驗及聊天和指令微調模型的基礎。

  6. Cartesia 產品與研究47

    Hierarchical modeling

    Cartesia 宣佈與研究夥伴合作研究階層式網絡 H-Net,這種新架構能直接從原始數據建模層級,並透過動態分塊機制把數據切分及壓縮成有意義的概念。H-Net 在語言建模中比採用 BPE tokenization 的最先進 Transformer 更能隨數據擴展,且在中文、程式碼和 DNA 等沒有自然 token 邊界的領域優勢更明顯。

  7. 創業邦56

    誰在為大模型出題、賣題和判卷?AI 數據行業的野蠻生長

    硅谷101訪談Scale AI後訓練與評測研究員何允中及ALE研究者孫一鈾,探討AI數據行業的商業模式、評測與數據供應變化。訪談指出,交付物正由人工標註和評分細則,擴展至包含任務、工具、執行環境和驗證機制的智能體環境。受訪者亦談到垂直領域數據採購、專家提交材料的核驗,以及評測基準與售賣訓練數據之間的界線。

  8. 創業邦54

    覓蜂科技能否跑通具身智能界的「美團」模式?

    覓蜂科技推出具身數據眾包平台覓蜂派,文章指出其擴大數據規模仍受數據有效率、收益和儲存成本制約。平台任務報酬通常為每小時10至20元,設備日租為39元,推廣期為19元;純頭顯EGO數據的有效率約為10%至20%。文章並比較Figure AI的Index與自動駕駛數據眾包經驗,討論數據規模能否轉化為訓練價值及可持續的生意。

  9. Recraft 自有模型與設計產品55

    Recraft 團隊分享如何打造 SOTA 含文字圖像生成模型 Recraft V3

    Recraft 團隊從零訓練 Recraft V3,並稱模型可在圖像中生成長篇文字。Recraft V3 在 Artificial Analysis 的 Hugging Face Text-to-Image Model Leaderboard 排名第 1,ELO 評分為 1172。模型以文字版面圖作為額外條件,並在訓練和推理階段提供給圖像生成模型;版面可手動設定或由模型生成。

  10. HuggingFace Daily Papers(社區熱門論文)37

    SkillForge:以動態技能生命週期促進技能與智能體共同演化

    SkillForge 提出一種智能體強化學習方法,透過動態技能生命週期管理技能庫,令技能與模型在訓練中共同演化。該方法在多個互動式智能體基準測試中取得最高整體成功率,較最強基線相對提升最高達 7.8%;研究亦推出 SkillFurnace 數據集,收錄 5k+ 條已註釋記錄。

  11. HuggingFace Daily Papers(社區熱門論文)45

    AdSpark:以產品為核心的廣告影片生成大型數據集與評測基準

    AdSpark 提出以產品為核心的廣告影片生成數據集 AdSpark-300K 及評測基準 AdSpark-Bench。AdSpark-300K 包含約 300K 組參考圖片、提示詞與影片三元組;AdSpark-Bench 從六個維度評估生成廣告。評測顯示,模型在產品保留、多鏡頭敍事及賣點呈現方面仍面臨挑戰,數據集將於論文獲接收後發布。

  12. 虎嗅55

    特朗普將向馬斯克、黃仁勳等頒授美國國家科學獎章,白宮推動科研體制重整

    白宮宣佈,特朗普將於週四向埃隆·馬斯克、黃仁勳、蘇姿豐及謝爾蓋·布林頒授國家科學獎章,並向邁克爾·戴爾和薩提亞·納德拉頒授國家技術與創新獎章。白宮亦推進「創世紀任務」,將科研加速機制擴展至超過15個聯邦機構,並爭取科技企業承諾超過10億美元,聯邦機構則投入1億多美元研發 AI 科研工具。

  13. HuggingFace Daily Papers(社區熱門論文)41

    Mechanics of Long-Context Hybrid Models Part 1.1: From Hybrid Attention to Hybrid Position

    研究提出長上下文混合模型的運作機制,探討全注意力與滑動窗口注意力或線性注意力混合模型的設計及長上下文表現。研究發現,線性注意力混合模型較受益於長上下文持續預訓練,而滑動窗口注意力混合模型較擅長長度外推。滑動窗口線性注意力可在 64k 上下文長度的 NIAH-SK1 維持 100% 準確率,並達成 16 倍無需訓練的長度外推。

  14. HuggingFace Daily Papers(社區熱門論文)46

    何時需要 On-policy 蒸餾?以學生模型離線 rollout 蒸餾往往更佳

    研究提出 Semi-OPD,以初始學生模型生成的離線 rollout 進行蒸餾,往往比 OPD 更準確、訓練效率更高。在 17 組涵蓋 1.5B 至 235B 參數的教師—學生配對中,Semi-OPD 有 14 組勝出,準確度最高提升 +13.6%,訓練速度提升 11.4x。OPD 僅在教師與學生高度對齊、輸出 token 重疊率高時有利。

  15. HuggingFace Daily Papers(社區熱門論文)38

    語言模型如何保留自身能力

    研究顯示,千問(Qwen)模型可透過生成重播資料,減少持續指令微調中對任務庫以外能力的遺忘。結合不完整任務庫,比單一任務庫更能保留先前答對的答案;按新任務選擇重播目標,在 4B 模型上亦優於隨機選擇,較小模型則未見相同優勢。固定示例預算下,以重播取代新任務示例可提升保留效果,但新任務增益較小。