MMSearch-OPD: Easy Made Hard, Hard Made Learnable for Long-Horizon Multimodal Search Agents
MMSearch-OPD結合可控數據精煉、強化學習(RL)與 on-policy distillation(OPD),提升長程多模態搜尋能力。Refine 流程擴展現有簡單多模態問題的推理鏈,並控制搜尋深度及跨模態證據要求。實驗顯示,數據精煉帶來提升,而在 SFT 後聯合訓練進一步改善搜尋能力。
MMSearch-OPD結合可控數據精煉、強化學習(RL)與 on-policy distillation(OPD),提升長程多模態搜尋能力。Refine 流程擴展現有簡單多模態問題的推理鏈,並控制搜尋深度及跨模態證據要求。實驗顯示,數據精煉帶來提升,而在 SFT 後聯合訓練進一步改善搜尋能力。
Waypoint-OPD 按照教師模型在強化學習早期與後期的策略偏移方向一致性,閘控端點偏移,以改善策略偏移蒸餾。以 RL 訓練的 Qwen3-4B 為教師,在數學及程式推理的六種領域與學生模型設定中,Qwen3-8B、Qwen3-14B 及 Qwen3-30B-A3B 均取得所比較蒸餾方法中最高的領域平均分;相較只傳遞端點偏移,方法只需額外一次凍結教師評分。
MRTPO 為多獎勵訓練提出獎勵專屬的 token 級信用分配,透過重播策略在有否驗證器資訊時的回應,以每個 token 的 Jensen-Shannon 距離衡量其相關性,並重新分配獎勵優勢,無需輔助模型或 token 級標註。在 text-to-SQL、多約束指令遵循及工具呼叫任務中,MRTPO 收斂較快,表現亦優於對比方法。
中國人形機器人產業正透過中外企業協作推進工業落地,但仍面臨數據短缺、算力不足及產業鏈不完善等瓶頸。西門子宣佈開放中國五家工廠及六類應用場景,支持具身智能發展;地瓜機器人的旭日S600已適配優必選、它石智航、上海人形等20餘家機器人企業。文中指出,真實產線數據、跨企業協作與算力仍是擴大工業應用的重要條件,而目前工廠尚未大批量引入人形機器人。
Meta 的新商業條款將於 10 月 30 日生效,商業帳戶繼續使用 Facebook、Instagram 或 WhatsApp,即同意 Meta 抓取關聯網站內容並用於訓練 Meta 產品。目前商業帳戶沒有退出條款的選項;Meta 稱網站仍可透過 robots.txt 管理內容存取,但法律專家指出,條款或令 Meta 主張其凌駕網站的封鎖指示,AI 訓練是否符合合理使用仍有法律爭議。
Mosaic 提出多工作階段智能體強化學習方法,透過不使用 critic 的階層式最佳化,按各工作階段的邊際貢獻調整優勢估計。在 BrowseComp 上以 Qwen3.5-4B 進行的實驗中,Mosaic 在上下文壓縮及子智能體分叉情境均勝過把軌跡層級優勢廣播至所有工作階段的方法,平均使用的工作階段亦較少。
Routing Policy Optimization(RPO)在擴散生成器內引入隨機注意力路由,以獎勵訊號對齊生成器,同時保留原有的確定性採樣器。文字生成圖像和文字生成影片的實驗顯示,RPO 改善了生成質素,訓練效率較 Flow-GRPO 類方法高近 4x。
SCOPED 為不同能力分別訓練專家,透過獎勵引導反思提取技能,再以在策略蒸餾將程序知識整合至統一視覺語言模型。蒸餾時,技能只用於引導專家監督,不會提供給統一模型在推理時使用,以減少不同能力之間的幹擾。在八個多模態基準測試中,SCOPED 持續優於骨幹模型及混合能力強化學習方法。
Microsoft 宣佈完成新一代基礎模型 MAI-Base-2 的預訓練,並稱其性能勝過所有參測開源權重模型。MAI-Base-2 總參數規模為 2.8T、活躍參數規模為 80B,使用 6,000 個 NVIDIA GB200 GPU 訓練 38 天,平均浮點算力利用率為 21%,有效吞吐量為 89%。
Athanor 論文介紹一個開放的智能體原生研究系統,並展示四個 Claude Opus 5.5 智能體在 104 小時內自主後訓練 Qwen3-4B-Base,使其平均表現追平或超越官方指令微調版本。
MaLoW(Memory as LoRA Weights)將串流影片歷史逐步編碼至固定大小的 LoRA 權重,以權重承載長期記憶。其模型在 OVO-Bench 和 StreamingBench 分別取得 74.5% 和 84.8%,並在參數規模由 0.8B 至 11B 的基礎 VLM 上帶來一致的效能提升。
微軟稱自研預訓練模型 MAI-Base-2 的性能超過目前驅動 GPT-5.6 Sol 的模型,訓練算力僅為 OpenAI 的四分之一,訓練成本亦有望較低。微軟表示曾私下將 MAI-Base-2 與多款 OpenAI 模型比較,依據包括其掌握的 OpenAI 模型技術資料;蘇萊曼另稱,該模型所需計算量只有 DeepSeek 的十二分之一,但未説明比較的是哪款 DeepSeek 模型。
Microsoft 公佈 MAI-Base-2,並稱其預訓練 FLOPs 效率較 DeepSeek-V4-Pro-Base 高 4x-12x。這款 MoE 模型的總參數量為 2.8T,啟用參數量為 80B。
NVIDIA 與 IIT Madras、AI4Bharat 介紹 Nemotron-pretraining-Indic-v1,這套涵蓋 22 種印度語言、約 2.8 trillion tokens 的預訓練語料及 GPU 加速開源生成流程即將推出。
推薦理由:文章交代語料的語言與文字系統覆蓋,並拆解翻譯、品質評估及修復流程,呈現這套生成配方如何按不同語言工作流調整。
AutoSFT 以多智能體協作自動執行監督式微調數據研究中的多種數據操作,並透過分離執行、分析和合成改善評測表現。分析子智能體令最佳 IFEval 提升 +6.5,合成子智能體再令 IFEval 提升 +3.4、IFBench 提升 +2.9。同一流程應用於程式碼任務時,分析令 MBPP+ 較未能提升的單智能體高 +3.7。
SCOPE提出基於GRPO的強化學習目標,按語義片段調整策略更新權重,以改寫文字生成圖像提示詞並提升生成品質,無需額外圖像渲染。在 Qwen-Image、SD3 和 FLUX.1-dev 上,相較 vanilla GRPO,SCOPE 在 GeneVal 和 T2I-CompBench 的平均相對提升分別為 9.48% 和 7.62%。
NVIDIA 與 IIT Madras 的 AI4Bharat 實驗室合作公佈 Nemotron-pretraining-Indic-v1,這套涵蓋 22 種印度語言、約 2.8 trillion tokens 的合成預訓練語料將很快推出,並配套開放的 GPU 加速數據生成流程。
AIData.Broker 整理 673 個來源的 973 筆公開報價,彙整 2026 年 AI 訓練數據各類價格中位數。中位數包括企業紀錄每家公司 $316K、語音資料集每小時音訊 $118、錄音報酬每工時 $24,以及文字授權每合約年 $16M。
Microsoft AI 分享前沿預訓練的見解,重點包括提升 token 效率、優化運算與智能比例,以及以合成資料應對資料瓶頸。AI 推理可協助逆向分析硬件;丹麥最高法院則裁定,AI 生成的 CSAM 在法律上等同真實 CSAM。文章亦提及 Anthropic 的 Scion、Simons Foundation 的 $15M 計劃。
Microsoft 宣佈 MAI-Base-2;AI 行政總裁 Mustafa Suleyman 稱,其預訓練基礎模型強於目前支援 GPT 5.6 Sol 的模型,訓練所用計算量僅為 OpenAI 訓練該模型的四分之一。
作者探討以自監督時間模式挖掘無標註多變量時間序列數據,支援碳負排放基礎設施的海岸氣候韌性規劃。實驗發現,配合領域知識增強的對比學習效果最佳,能保留具物理意義的模式並減少感測器漂移和校準雜訊的幹擾;一般增強方法則可能抹去平靜潮汐與風暴潮的差異。
Thinking Machines Lab 的 Tinker 推出一年,以後訓練 API 讓用戶運用自有數據打造自訂模型。平台由最初的千問(Qwen)和 Llama 14 款文字模型,擴展至其後新增逾 20 款模型,涵蓋 4B 至 1T 參數。Tinker 管理 GPU 和檢查點,用戶掌控數據及訓練流程;平台不會以客戶內容訓練模型。
OfficeTown 是一個生成式模擬框架,建立持續運作的專業組織,為 AI 智能體生成以工作為基礎的訓練數據和評測基準。OfficeTown Bench 涵蓋 23 個模擬組織、8 個專業領域,共有 406 項任務和 4,836 項評測準則。
研究提出 LM2LM,以凍結的研究世界模型(RWM)預測改進提案的收益,作為強化學習獎勵,訓練語言模型生成語言模型改進方案。系統會定期實際執行 RWM 排名靠前的提案,並把測得結果加入其上下文,以維持回饋可靠性。
RAP 提出以論文生成會議海報的數據集及基準,將任務視為視覺編碼,收錄 25K+ 組經核驗的論文、海報及標記語言配對,並設有 150 篇測試論文的基準。PosterRAG 以免訓練的多智能體流程檢索範例並填入內容欄位;研究亦以 SFT+RL 配方訓練專用模型。
MaSS 框架透過分離結構表徵與上下文特徵,並採用場景結構判別目標,提升自監督單目深度估計在多樣場景中的可擴展性。在四個數據集上的單獨及聯合訓練與評估中,MaSS 大幅勝過以往方法,並持續受益於混合領域訓練。在另外八個數據集的零樣本評估中,MaSS 亦展現出良好的泛化能力,程式碼已公開。
Self-HPO 提出交替優化 harness 與策略的編碼智能體自我改進框架,並以強化學習針對不斷演變的失敗模式提升表現。在三項編碼基準上,Qwen3.5-35B-A3B 的平均解決率由 57.8% 升至 64.8%,增益亦可泛化至分佈外設定。使用外部模型 Opus 4.8 作為 harness 提案者,可進一步提升表現。
過度擬合指 AI 模型過度貼合訓練數據,可能在訓練樣本得分 99%,卻無法將所學泛化至未見數據。模型容量相對數據過大、訓練資料不足或不具代表性、訓練過久,以及標籤噪聲和偶然模式,都可能助長過度擬合。訓練表現持續改善,不代表未見數據上的表現同步提升。
Microsoft AI 已完成 MAI-Base-2 預訓練,這是一個有 80 billion 個啟用參數、2.8 trillion 個總參數的 MoE 基礎模型。
Argonne 團隊將基因關聯分析套件 SAIGE 改寫為 SAIGE-GPU,令原本需約 481,000 CPU-core hours 的分析得以執行。研究分析了 635,969 名退伍軍人的 2,068 項特徵,找出 13,672 個與一種或多種疾病相關的基因組區域。近三分之一參與者並非歐洲血統,約 1,600 個關聯只在合併不同羣體的分析結果後才浮現。
Prime Intellect 與 NVIDIA 以 GRPO 後訓練 Nemotron 3.5 Super VL,令其 AutomationBench-AA 公開分數由 34.0% 升至 57.7%。訓練使用 2,500 個經驗證的企業工作流任務,在 128 NVIDIA GB200 GPUs 上進行約 11 小時。評分按任務目標完成度給予部分分數,但違反任何護欄都會令該任務得分歸零。
Mistral AI 發佈 Timestral 時序基礎模型系列,提供 5M、28M、123M 和 209M 四種尺寸,支援機率式多變量預測及過去與已知未來協變量。209M 模型在 GIFT-Eval、TIME 和 fev-bench 三個公開基準均排名第一;以三週、每 15 分鐘一筆的歷史資料預測一天,在 8 threads 的標準伺服器 CPU 上耗時 140 ms。
推薦理由:Timestral 的四種模型尺寸對應不同的預測表現與推理速度,文章提供公開基準結果和 CPU 延遲數據,方便比較準確度與部署效率之間的取捨。
CopilotKit 推出 CLiF,將智能體軌跡與用戶在產品中的操作整合成全棧軌跡,再轉為技能、基於實際使用的評測、微調數據集及原始軌跡。平台透過 AG-UI 將雙方活動記錄在同一時間線;每項技能提案均須經人工審核,發佈後可無需重新部署而提供給智能體。CLiF 現正提供早期體驗,並支援自託管,讓軌跡及所學內容留在企業自有基礎設施內。
Invoice-Check JP以QLoRA微調的Qwen2.5-VL-3B-Instruct讀取日本合格發票,並以校驗碼、登記資料及税額計算判定是否自動核准。在600張合成測試發票中,86.8%獲自動核准,獲核准者沒有檢查可捕捉的錯誤欄位。結果僅適用於虛構公司的合成發票,不能代表真實發票表現。
Apertus 1.5 更新 8B 和 70B 模型,加入圖像與音訊理解及可選思考模式,並將上下文窗口擴至 262,144 tokens。持續預訓練分別為 8B 和 70B 模型加入 4 trillion tokens 和 2 trillion tokens 的文字及多模態訓練資料,總訓練量分別達 19T 和 17T。
推薦理由:文章同時公開訓練資料、各階段檢查點與可重跑的評測記錄,讀者可據此瞭解 Apertus 1.5 的訓練流程及比較評測結果。
作者透過 MCP 將清理及標準化的 155 個日本官方數據集、共 10.16M 條記錄接入 AI 智能體,並以此説明 MCP 的五層架構。文章將 MCP 伺服器分為數據型、狀態記憶型及動作/遠端型三類。作者認為,為不同 LLM 提供可接入的工具並整理未清理的本地數據,是開發者的藍海機會。
Anthropic 在 IPO 前向投資者披露,Q3 收入增近 50% 至 $16.8bn;Q1 和 Q2 收入分別約為 $4.8bn 和 $11.5bn。Q3 每花 $1 購買計算能力帶來 $1.70 收入,剔除股份薪酬後的調整後營業利潤率為 11%。
特斯拉已開始向搭載 Intel 車機晶片、配備 HW3 的 Model S 和 Model X 推送 FSD v14 Lite。更新透過知識蒸餾把 HW4 車型 FSD v14 的部分能力遷移至 HW3,涵蓋強化學習(RL)及離線模型能力,並改善多類場景的預判、應急反應和行駛平順性。
多家公司正付費招募全球工作者記錄烹飪、清潔和維修等實體任務,收集訓練機械人所需的影片與動作數據。Encord表示,機械人訓練數據需求約為一年前的10倍,客戶要求的標註數據量已由1,000小時升至10,000甚至100,000小時。報道同時指出,這類採集工作涉及工人同意、薪酬和身體負擔,數據供應商能否持續盈利亦存在不確定性。
NVIDIA 加入歐盟委員會推出的 AI in Science Enablers Initiative,承諾透過加速運算工具、模型、算力、培訓及合作,擴大歐洲科研界使用先進技術的機會。