AudioShake 推出 The Refinery,將重疊對話轉化為 AI 訓練資料
AudioShake 推出 The Refinery,將現有錄音轉成按説話者分離的 AI 訓練資料,無需原始錄音場次或獨立錄製的分軌音訊。
AudioShake 推出 The Refinery,將現有錄音轉成按説話者分離的 AI 訓練資料,無需原始錄音場次或獨立錄製的分軌音訊。
Import AI 第 476 期彙整 AI 研究與產業動態,聚焦研究創造力與 RSI、開放權重模型競爭,以及 AI 走向太空。
阿里千問發布 QwenGyre,為超長程智能體任務提供線上強化學習框架。在 NL2RepoBench 實驗中,以每次約 70 萬 token 的 rollout 任務訓練 48 步後,模型通過率由 52.5% 升至 58.5%。相同 GPU 預算下,QwenGyre 較 Async 端到端加速 1.78×。
業務數據工作者在 AI 帶來的生產力提升上落後於軟件開發者,關鍵障礙是數據難以取得、結果無法核查,以及工具未能處理 AI 所需的數據準備。要建立信任,AI 代理準備數據時應以可視化工作流程逐步展示數據的讀取與轉換,並在受管控的平台內運作。
MASS 透過優化多智能體工作流並把團隊執行軌跡微調回共享模型,建立遞歸式自我監督循環。以 Qwen3.6-27B 進行兩輪訓練後,三項合成測試任務相對基礎模型的勝率由 53.9% 升至 69.9%;四個研究基準的每輸出 token 分數達基礎模型的 1.2–1.6×。
作者在 15 天內走訪北美多地並訪談 101 位 AI 從業者,指出模型能力持續加速,但交付與現實基建未能同步。受訪研究者對強化學習、任務環境及新架構帶來的擴展路徑保持樂觀,但模型能力提升不會自動轉化為更好的交付。部分新增電力容量及輸電設施的併網等待達 5 年以上,機械人發展亦受技術路線未收斂和真機驗證週期較長所限。
Sakana AI 發表新論文,提出多智能體自我監督(MASS),讓共享模型透過虛擬子智能體團隊解題並搜尋更佳工作流程。研究使用 27B 開放權重模型,在合成開放式研究任務上進行兩輪訓練;第二輪後,四項研究基準上的每輸出 token 得分達基礎模型的 1.2-1.6x。研究亦指出,只以被優化模型的解題數據訓練可提升優化器與評估器能力,多智能體軌跡也比單智能體軌跡更有效作為 RSI 訓練資料。
LongR 透過動態 Think-and-Read 機制及基於相對資訊增益的上下文密度獎勵,提升大語言模型的長上下文推理能力。它在 LongBench v2 上提升超過 9%,並在 RULER 和 InfiniteBench 上持續改善。這套框架無需證據標註,並在 DAPO、GSPO 等不同強化學習演算法下均提升表現。
TPPO 提出追蹤價值的 PPO,透過累加各位置的標量輸出形成價值 logits,並以重建後的價值接受終端結果監督。相比 PPO,TPPO 在 Qwen3-4B-Base 和 Qwen3-8B-Base 的數學推理綜合評分分別提高 7.0 和 8.4 分,並改善分佈外泛化。程式碼已公開。
InfoVis 是一個統一的 9B 投影片生成與編輯模型,在 VisSlideBench 的 11 項指標均領先所有受測開源模型,總分為 7.94,Nano-Banana-2 則為 7.99。模型以 FLUX.2-klein-base-9B 為基礎,投影片專項後訓練令總分提升 1.6 分。團隊將發布模型、程式碼、數據及基準測試集。
HACE 框架共同演化專門化基礎模型與 LLM 智能體,在推薦、蛋白質功能預測及晶體穩定性預測三個領域的主要任務指標上,勝過受評估的自我改進方法。框架以監督式學習提升專家模型,並以當前專家模型經核實的效能提升引導智能體進行 on-policy 強化式自我訓練,再以演化搜尋優化兩者的資訊交流及訓練經驗選取方式。
EDEN 透過在 rollout 條件中加入錨定的嵌入噪聲,增加可驗證獎勵強化學習(RLVR)的探索多樣性,並加強組內相對優勢訊號。它在相同 rollout 預算下,以少量加入擾動嵌入位置的 rollout 取代標準 rollout,模型架構、離散解碼及測試時推理均維持不變。數學推理基準測試中,EDEN 表現優於 GRPO 及同一流程評估的探索控制方法,在抽樣解答覆蓋率上的增益最大。
HexaBee-4B 是一款由 Gemma 3 4B IT 改造、面向六種語言翻譯的模型,訓練結合多語言問答及雙向翻譯監督。在涵蓋六種語言全部 30 個方向的 36,572 個合成測試例子中,其方向宏平均 chrF++ 為 73.75,高於 Gemma 3 4B IT 的 57.11 及 Gemma 3 12B IT 的 66.83。
研究提出語言正則化自我蒸餾(VRSD),透過系統提示詞調節教師模型使用特權資訊,鼓勵重新思考與探索。在三個模型和四項任務中,VRSD 在 12 組模型與任務設定中有 11 組的 Pass@1 高於 OPSD,平均提升 3.9 個百分點,並普遍維持較高 token 熵。
研究提出 Ares,根據梯度頻譜能量分佈估算並追蹤有效更新秩,將更新限制在相應的低秩子空間。研究發現,RLVR 訓練中的梯度能量會逐漸集中於縮小的有效子空間,所需秩亦隨訓練下降;這些特徵在監督式微調中不存在。Ares 在不同規模的大語言模型上提升準確率,並可應用於不同 RLVR 演算法和任務;程式碼及數據已公開。
LLM-to-Flow Distillation(LFD)以凍結的 LLM 作為自適應教師,將高層次自然語言科研目標逐步轉化為領域專用生成器的子目標。教師評判候選樣本,並透過 DPO 迭代蒸餾偏好,無須明確代理獎勵。治療肽和小分子結構設計實驗展示了這種方法。
X-Ragent 提出一套工具增強的強化學習後訓練框架,透過選擇性搜尋輔助證據及有效性閘控的量度資料,提升胸部 X 光推理的證據可靠性。研究以 7.7K 個樣本構建 Rad-CoT,並用於初始化 Qwen3-VL-8B;在三個胸部 X 光基準測試中,X-Ragent 整體表現最佳,在完全留出的 ChestAgentBench 上提升 8.6 分。
Dream2Discern 透過自我引導生成困難潛在變體,訓練多智能體系統的執行時審計器預測執行結果,無需額外收集軌跡或驗證結果即可提升準確度。它在 AFTraj-2K 和 StepShield 兩項基準測試均取得超過 90% 的軌跡層級加權準確率,並兼顧預測準確度與及時性。
作者示範如何用 Qwen/Qwen3-1.7B 限制輸出為 A 至 E 選項,以建立決策模型,並用温度縮放校準輸出機率。在 CommonsenseQA 隨機留出樣本上,微調前準確率為 0.5938,微調後為 0.6241。校準後,0.90–1.00 信心區間的平均信心為 0.9333,準確率為 0.9541。
亞馬遜雲科技與姚基金推出「雲上籃圖」體育 × 科技育人計劃,投入 100 萬美元現金及雲與 AI 技術資源,培養兼具 AI 素養與體育專業能力的人才。計劃涵蓋高校培訓、黑客松實戰及成果部署,並支持 10 所院校培訓,將優秀 AI 教學工具於 100 所基層學校試點。亞馬遜雲科技亦會支持姚基金籃球季,為學校提供籃球教育、訓練及賽事支持。
Apertus 1.5 將全開放 Apertus 系列由文字擴展至多模態推理,加入圖像和音訊理解。8B 和 70B 分別以額外 4T 和 2T tokens 持續預訓練,上下文窗口擴大四倍至 262,144 tokens,架構則保持不變。
RSI-Nav 提出以數據為中心的導航遞迴自我改進框架,在共享模型中整合視覺-語言到動作的指令跟隨,以及視覺-動作到語言的指令生成。模型逐批處理未標註軌跡,生成並評估指令、保留合格樣本,再更新模型,使新生成的監督資料與不斷演進的策略同步。在 R2R-CE 和 RxR-CE 分別取得 68.6% SR 和 72.4% SR,指令生成效用更強,空間理解亦有小幅改善。
RSIPO 是一種自我演化的智能體強化學習框架,讓智能體技能與策略模型在訓練過程中共同演化。它從已完成的軌跡中提取技能,並以經驗貝葉斯收縮方法校準對教師評分的信任度。以千問 Qwen2.5-7B 為基礎模型時,RSIPO 在 ALFWorld 的平均成功率達 98.6%,較次佳基線及標準 GRPO 分別絕對提升 2.5% 和 17.4%。
研究分析訓練數據有限、需要重複使用時的預訓練,發現驗證損失與批次大小呈 U 形關係,較小批次較典型預訓練更受青睞,可能因梯度噪聲提供隱式正則化。每個 epoch 重新打包文件、權重共享等訓練配方亦可調整;期限較緊時較大批次較有利,但固定時間預算下,較小批次配較少 GPU 仍可取得比大批次配較多 GPU 更低的驗證損失。
心資本創始合夥人韓彥認為,AI 的價值不止於大語言模型,未來更大的機會在於進入物理世界、改變生產方式。中國 AI 投資市場不一定缺乏資金,早期科技投資中外幣資本的參與比例已由三四年前約 90% 降至約 20%。韓彥並指出,機器人領域的關鍵可能是高質素的真實世界數據,而非數據數量。
Standard Bots 分享其工業機械人 AI 的設計經驗,透過共享基礎模型和任務示範及微調,讓模型適應不同工作。其最大模型參數規模為數十億級,機器視覺骨幹模型以超過 10 億張圖片訓練;推理在本地執行,模型負責感知,傳統程式則處理動作和工作站邏輯。公司亦會按客戶情況使用部署中收集的失敗訊號及人手修正。
研究實習生 Kavish 以自回歸擴散模型建立市場事件生成模型,發現全連續擴散難以呈現真實市場數據的鋸齒狀特徵。模型使用四年美國股票數據;DDPM 表現不穩定,所有 7 個連續目標中有 88-95% 的數值偏離分佈平均值逾 8 個標準差。Flow matching 則開箱即有較佳表現。
作者分析字節跳動招聘官網 10 月 5 日的 11,187 個國內社會招聘職位,其中 4,791 個與「AI」搜尋結果匹配,佔 42.8%。新發布職位中的 AI 職位比例由 33% 升至 55%;文章並梳理各業務板塊、職能及技能需求,指出招聘涵蓋芯片、算力、模型、雲服務、應用和硬件終端。作者將這種佈局概括為全棧投入,同時指出職位分散在 671 個業務線後綴,押注重點不夠明確。
Ai2 在 COLM 2026 分享開放研究成果,涵蓋 Olmo 模型、科學研究智能體及 Bolmo。Olmo Hybrid 在 MMLU 上達到與 Olmo 3 7B 相同的準確度,少用 49% 訓練 token。AstaBrief 是開放權重模型,可根據研究問題和檢索到的文獻生成附有引用的報告,並可在 Asta 的 Fast mode 使用或下載至自有基礎設施運行。
Google DeepMind 的 Pushmeet Kohli 與 Biohub 的 Sal Candido 指出,AlphaFold 的突破只是起點,蛋白質摺疊問題仍未解決。兩人探討生物數據的 scaling laws、數據質素與科學直覺如何影響模型發展,並討論如何由單一蛋白質建模邁向整個生物系統。
KV4-RL 結合免校準 INT4 KV 量化,以及對 attention sinks 和近期上下文的選擇性 INT8 保護,以加快 RLVR 非同步 rollout。
受控評測顯示,多數對比訓練策略相較標準對齊基線提升有限,部分策略更會降低整體表現。結合困難負例挖掘、假陰性緩解與困難批次構建,在 Qwen2-VL-2B 上令 MMEB 平均提升 6.0%,表現最佳。
ShellElastic提出一種可擴展的彈性 Transformer,將隱藏維度組成密集核心及逐層 shell,令一次全寬前向傳播包含各子網絡的精確隱藏狀態,並維持固定計算圖。\muE 將最大化更新參數化擴展至彈性架構,使超網絡內所有子網絡可同時獲得最大化更新。實驗顯示,單次訓練所得子網絡在參數量相同時勝過 MatFormer 和完全彈性基線,並接近分別訓練的模型。
一項心理計量審核測試決策模型及生成式 LLM 能否充當人類問卷受訪者,結果顯示多數決策模型的表現低於生成式模型。測試涵蓋 14 個決策模型及 47 個生成式 LLM,最佳生成式模型 MiniMax M3 的 PSS 為 0.813。研究指出,以個人資料建立的合成受訪者應以樣本層面的相似度為目標,而非預測個別人士的答案。
UltraBERT 以單一編碼器在分類與檢索任務均達最先進水平,GLUE 得分為 91.0,BEIR 為 47.7。模型在同一批次為低、高遮罩比例分設 LM head,並將知識蒸餾目標限制於低遮罩比例;研究指出,較低遮罩比例有利分類,較高比例則有利檢索。
Vela 以真實用戶行為作為監督訊號,將行為資料轉化為訓練任務與軌跡,並用來微調 Qwen3.6-35B-A3B,提升其用戶相關能力。微調後,用戶相關任務最高提升 11.5 分,一般基準平均提升 4 分。微調後再進行強化學習,表現較從基礎模型開始進行強化學習最高提升 7.7 分。
Epoch AI 的 InnovationEval 初步結果顯示,現有模型仍未能端到端自動化 AI 研發,未見過 SDPO 論文的模型也未能接近其成效。GPT-5.6 Sol 和 Fable 5 各獲 3,000 GPU-hours;Sol 經相近實際運行時間校正後,只達 SDPO 增益的 15%。
Baseten 工程博客解説如何為 NVFP4 量化選擇各層精度,並比較架構啟發式、逐層敏感度評分及 SaturationQuant 三種方法。校準會用具代表性的資料測量激活值範圍,再計算量化尺度;逐層評分估算單層量化的影響,SaturationQuant 則以 Aumann–Shapley 評分納入其他已量化層的影響。文章建議按搜尋速度、校準資料及記憶體目標選擇方法。
非洲的 AI 發展機遇更取決於能否讓技術惠及更多人,而非建成最大模型;基礎設施與能源不足則限制其經濟效益。非洲人口佔全球 18%,數據中心容量卻只有 0.6%,其中僅 5% 配備支援先進 AI 工作負載的設施;世界銀行主張多數非洲經濟體採用並調適 AI,而非從零打造前沿模型。
reViT 以單一 Transformer 區塊循環運作,並用小型共享專家庫的凸組合,恢復不同深度的 FFN 變換;在相若推理 FLOPs 下,其準確度可媲美完整深度的視覺編碼器,且不需中間特徵蒸餾。