預訓練數據的詞彙印記
研究發現,預訓練語料與基準測試目標的詞彙對齊程度,能持續反映零樣本準確率。涵蓋 10 個零樣本基準、4 個預訓練語料及 3 種模型規模的實驗顯示,較低 UCE 對應較高準確率。按詞彙對齊程度挑選訓練文件可提升準確率,把提示詞路由至語料較匹配的 drafter 則可提升吞吐量。
研究發現,預訓練語料與基準測試目標的詞彙對齊程度,能持續反映零樣本準確率。涵蓋 10 個零樣本基準、4 個預訓練語料及 3 種模型規模的實驗顯示,較低 UCE 對應較高準確率。按詞彙對齊程度挑選訓練文件可提升準確率,把提示詞路由至語料較匹配的 drafter 則可提升吞吐量。
SOMA 是評測多模態模型細粒度第一人稱身體動作推理能力的基準,涵蓋 1,632 條經人工核驗的問題及身體姿勢、動作動態和時間推理三個能力面向。研究評估 37 個多模態模型,最強的 Qwen3.6-27B 零樣本準確率為 50.0%,低於人類的 68.5%。研究亦提供訓練數據集及多模態基線,以支援相關研究。
OSWAM 是一種面向自動駕駛及具身控制的世界動作模型,只需一次擴散步驟即可生成高質素動作。實驗顯示,其表現媲美或優於需要數十步的 direct-policy WAM 和 Joint-WAM,速度約提升 3 倍。模型在 NVIDIA RTX 5090 GPU 上的推理延遲低至 40ms。
SPOT 透過預測 token 生成順序並並行驗證候選項,加速擴散語言模型的精確解碼。這個 0.62M 參數模型在 SDAR-8B 上最多減少 6.8 倍目標模型通過次數,吞吐量最高達標準解碼的 3.4 倍;SPOT-Sets 在動態閾值解碼上平均提升 SDAR-8B 吞吐量 59%。
多尺度策略最佳化(MPO)透過在回合尺度對齊信用分配與策略更新,改善長時程 LLM 智能體的訓練。MPO 結合多尺度優勢估計(MAE)與回合層級重要性抽樣,在使用 4B 和 30B-A3B 模型進行的搜尋、工具使用及自動化任務實驗中,持續勝過多個強化學習基線。
研究發現,Outcome RL 在固定 token 預算下提升 pass@1,主要靠提高答案完成率和作答可靠性,而非新增解題知識。研究比較 20 個已發布 RL 模型(1.5B 至 32B)及其基礎思考模型;Outcome RL 未提升大 k 下的 pass@k,四組物理及數學題的 Reach 增益最多為 2.1 個百分點。
Fin-SD 透過學生模型自行撰寫錯誤評論,並以截斷至錯誤前的正確推理前綴進行按策略自蒸餾,改善多步金融推理,無須外部教師模型提供梯度。在 FinanceReasoning Hard 子集上,Fin-SD 比基礎模型準確率高 3.03 個百分點;以完整參考解答進行按策略自蒸餾時,準確率相若,但生成的 tokens 少 9.5%。使用 GPT-OSS-120B 撰寫提示,效益亦未見明顯高於自行撰寫。
The Trinity 是一個遞歸自我改進框架,透過能力樹、模擬訓練世界及專用 Harness 模組,提升多模態智能體在不同基準上的表現。框架設有 Creator、Explorer 和 Evolver 三種角色,並以 Capability-Aware Harness Router 按任務資訊選擇相容的模組配置。
HaMo 提出一種 Harness-Model 協作框架,結合程序經驗卡片的快速檢索與模型的漸進式適應,以提升長期網絡智能體的經驗保留及跨任務執行能力。框架將軌跡提煉成策略級經驗卡片供即時檢索,並以經驗條件式持續學習訓練模型理解和執行策略。實驗顯示,HaMo 在域內及跨域轉移下均優於僅使用 harness 或僅作模型適應的方法,並提升保留與適應表現。
UMM-JEPA透過遮罩式下一尺度表徵預測,為統一多模態模型進行生成式預訓練。
Wiener-informed Decoding(WiD)將維納統計估計融入像素解碼器,透過統計量初始化新路徑,並與模型一同訓練,以改善像素空間 Flow 模型的學習。WiD 適用於類別條件及文字生成圖像,並支援不同解像度;統計量以約 50,000 張圖像估算,使用 GPU 加速約需一分鐘。
研究提出可見狀態監督(ViSS)與測試時因果視角搜尋(TVS),分別改善串流動作識別的表徵學習和證據選擇。ViSS 特別提升幻覺檢測和因果推理,TVS 則有助事件回憶和前向推理。兩者結合後,在 StreamingBench 和 OVO-Bench 上達到所比較已發表系統中的最高報告準確率,處理的影格數僅為窮盡式選擇的一小部分。
統一多模態模型中的跨模態引導向量,可在文字與圖像生成之間遷移,揭示兩種模態共享因果控制機制。研究發現,向量能在文字轉圖像及圖像轉文字兩個方向零樣本遷移;即使概念高度偏向某一模態,也常能在另一模態產生一致且可解讀的效果。
論文提出 Rollback,讓世界模型回溯關鍵決策並探索反事實行動,以改善機械人策略。在方塊抽取、拋球和桌上冰壺三項真實任務中,成功率較最強基線分別高出 10.67%、11.11% 和 11.85%。Rollback 以遠低於人類水平的遙操作示範作初始化,並在訓練 8 小時內,於拋球和桌上冰壺的平均成功率超越人類玩家。
SearchHorizonBench 評估 AI 智能體如何根據執行歷史估算額外搜尋的價值;歷史校準能提升預測準確度,但未能解釋大部分搜尋收益的差異。基準涵蓋 3,168 條問題的 45,632 次執行;在 1,632 條留出問題上,歷史校準將 Brier 誤差降低 16.2%,但測試中的歷史估算方法對搜尋收益差異的解釋不足 2%。
MoveBench提出一套專門評估大語言模型在運動與健康教練領域表現的基準測試,重點評估安全性、科學有效性及個人化。研究以 809 條問題及 5,012 項評分規準評估 15 個大語言模型,發現模型表現差異明顯,尤其體現在安全意識、訓練計劃設計及個人化能力。MoveBench提供開放資源及可重現的評估框架。
CREDIT 透過反事實訓練改善語言模型對外部資訊的自我歸因,減少模型錯誤承認未影響答案的資訊來源。該方法以反事實標籤直接監督最終答案,無需人工標註,並在四個開源模型(包括兩個蒸餾推理模型)上提升歸因表現,優於推理層微調及提示詞基線。提升效果亦部分泛化至未見資訊類型,以及包含支持相互矛盾答案來源的提示詞。
MatAnyone-E 透過只對不確定區域進行高解像度匹配,並採用輕量解碼器,在維持與 MatAnyone 2 相若的摳圖品質下提升推理速度。在 4K 下,推理速度估計提升 7.4 倍,峯值 GPU 記憶體用量降至 MatAnyone 2 的 7.6%。使用單張 NVIDIA H200 GPU 並啟用編譯推理時,1080p 達 73.07 FPS,4K 達 28.62 FPS。
研究以無語義的逐詞替換規則作為負載,測試 GPT-4o mini 的指令容量及在可控負載下的退化,考察文本長度、答案中的詞語位置、替換密度、規則數量和規則排序位置。規則數量與品質呈對數線性關係,替換密度符合飽和定律,規則位置符合冪律;文本長度與答案中的詞語位置則互相制約。研究據此建立模型「護照」,其中的數值均可根據已發布數據重新計算。
DTCA 透過衡量 token 提交後其餘遮罩位置的預測信心改善,估算 token 貢獻,並按詞性分類訊號,為擴散語言模型的強化學習進行 token 級信用分配。DTCA 亦按策略更新引起的 token 級熵變化校準學習訊號;在 LLaDA-8B-Instruct 上,MATH500 分數最高提升 9.0 分,GSM8K 最高提升 5.3 分。
Omni-InteractScope 是一項評測 Omni-LLMs 在連續影音串流中互動可靠性的基準,涵蓋 1,479 個人工標註互動、1,790 個時間目標及八組任務。測試的 12 個模型中,工具調用的準時首答比例均不超過 40%,時間與工具聯合準確率最高為 32.0%;提醒召回率不超過 23.0%。9 個模型未能完整覆蓋任何一段指引序列。
OmniShowcase透過幾何驅動的訓練資料及表面法線圖條件,提升多視角影片生成的主體身份一致性與 3D 一致性。研究構建 Showcase-4K,涵蓋 12 種鏡頭運動及 88 種軌跡配置,並建立 ShowcaseBench 作為評估集。實驗顯示,方法在保持具競爭力的影片品質及動態表現下,達到最先進的主體身份與 3D 一致性。
一項獨立安全評估以 34 項基準測試 DeepSeek V4.1 Flash-1017,結果顯示其安全性較 V4 世代有顯著提升,並在多個面向接近或達到領先閉源模型的水平。
CEPO(Coordinator-Executor Prompt Optimization)透過分離共享協調與智能體專屬執行,改善多智能體系統的提示詞優化。涵蓋四個領域的 11 項基準測試顯示,將 CEPO 用於四種現有提示詞優化器均能提升表現;文件理解多智能體系統的受控研究亦顯示,其優化預算效率及隨智能體數量增加的表現均有改善。
研究人員讓 13 個由 Claude Opus 4.7 控制的 AI 智能體在虛擬島上無任務遊玩,發現有遊玩經驗的智能體在建造測試中表現較佳。每個智能體運行 30 小時,環境每小時重置但記憶保留;有經驗者中 62% 建成多於兩座塔,新智能體則為 15%。
Stanford 與 UC Berkeley 研究人員發佈 TokenGate,利用學習式 token 剪枝加快長上下文 LLM 預填充,研究團隊報告 TTFT 加快 1.4x 至 11.3x、峯值預填充記憶體減少 1.5x 至 3.4x。
清華大學丁寧團隊聯同北京郵電大學、北京大學及自然意志 Nature Will 的研究員,構建跨本體靈巧操作仿真平台與評測基準 HandsOn,設有 66 項任務。
中國科學院大學、英國卡迪夫大學與可靈 AI 團隊提出 JointLight,能根據目標環境光調整人物影片的光影,同時盡量保留人物外觀、動作和場景結構。於 SynthDynamic 測試中,JointLight 的 PSNR、SSIM 和 LPIPS 分別為 16.39 dB、0.631 和 0.263,三項指標均優於參與比較的方法。
研究團隊提出蛋白質設計模型 Pinal,將自然語言功能描述轉為蛋白質結構,再據此設計候選氨基酸序列。團隊以17億組蛋白質—文本配對、涵蓋約1.35億條蛋白質序列的數據集訓練出160億參數模型,並對四類蛋白質進行實驗驗證;其中設計的 pinalH02 令甘氨酸濃度達11.1毫摩爾每升,為天然大腸桿菌H蛋白組件的1.7倍。
哈佛大學、英偉達、加州大學伯克利分校、MIT 和斯坦福大學研究團隊提出 RAX,讓機器人透過在線探索累積經驗,並將成功決策寫成可複用的控制程序。模型參數保持凍結,RAX 在 RoboDojo、BEHAVIOR-1K、HumanoidArena、DexJoCo 和 LIBERO-Pro 五大仿真基準上,較此前最強 SOTA 模型平均領先 37.4 個百分點。
一份研究分析逾22.6萬名美國STEM博士畢業生的論文摘要,發現在美國完成本科的畢業生中,使用AI撰寫摘要者進入學術界的可能性低17%,進入產業界的可能性高16%。AI生成摘要比例由2023年的1.7%升至2025年的18.8%,並在2026年前5個月達29.4%。研究未能確定AI輔助寫作是否損害畢業生的研究能力,也無法解釋這種就業關聯;論文尚未經同行評審。
南京大學、SenseTime 及其他大學的研究人員推出 OpenMobile-2,提供分別基於 Qwen3.5(9 billion parameters)和 Qwen3.6(27 billion parameters)的兩款模型,並公開完整訓練環境、數據及重現指引。
EPFL 研究人員研發可植入神經晶片 LogSync,追蹤大腦不同區域間的訊號交流,並即時辨識認知及情緒狀態。晶片以低於 200 microwatts 的功耗處理神經訊號;研究人員以人類腦部錄音評估狀態辨識,並在大鼠實驗中測試刺激觸發。
GVS5H 提出一種免訓練的零樣本自我編排方法,讓同一模型的多個新實例透過共享檔案系統分解問題並協作解題。在 11 款開放及封閉權重模型的 100 道最新高難度 LiveCodeBench 題目上,該方法在固定後端帶來最高 25.6 個百分點提升;本地部署的開放權重 Qwen3.8-27B pass@1 由 66.8% 升至 92.4%,但部分模型沒有改善或表現變差。
中國人民大學等機構的研究團隊提出並開源 TabClustPFN,以預訓練後的一次前向推斷,從無標籤表格預測樣本分組及簇數。模型為 2 到 10 類的候選簇數提供概率;在 3,200 個未參與訓練的合成數據集上,95% 累計概率候選集合的真實簇數覆蓋率為 96.8%。團隊亦在 44 個真實數據集上評估模型,簇數估計誤差中位數為 1。
Google DeepMind 的 Jonathan T. Barron 等人指出,PyTorch、JAX、TensorFlow 等框架的 Softmax 與交叉熵標準實作存在兩種數值精度缺陷,可能在特定條件下改變梯度。
PyPI 調查發現,在有標示語言的套件中,長尾套件列出至少一種非英語的比例為 7.7%,高於熱門套件的 2.4%,與熱門套件較國際化的預期相反。熱門套件標示語言的比例較高,為 12.7%,但其 61 種語言集中在少數套件;長尾則只有 9 種。非英語套件數量有限,結果反映方向而非精確效應。
CodeNinja Praxis 設計的實體 AI 參考架構用於蒸汽渦輪狀態監測,透過硬件單向輸出讀取 DCS,沒有返回控制網絡的路徑。MOMENT-1 用於零樣本異常檢測,IBM Granite 4.2 8B 草擬診斷筆記及測試報告,兩者在廠區內一張 48 GB PCIe 推理卡上運行。設計設定每週 2 次誤報上限,三年場地成本估算為 21,600 至 23,400 美元。
港大社會科學學院研究人員與多國專家發布 AI 及新興科技應用於精神健康領域的路線圖,提出結合腦部指標、臨牀症狀、個人生活經歷及社會背景,支援個人化治療。現有證據不支持以 AI 取代人類治療,或依賴自主系統處理高風險情況。相關技術仍處於早期階段,須接受嚴謹、以人為本的評估。
PyPI 下載量最高的 3,000 個項目中,列出作業系統分類的項目較常標示具體平台,而不是隻用「OS Independent」。在有列出分類的項目中,長尾有 80.8% 標示「OS Independent」,高於熱門項目的 71.9%;熱門項目列出多個作業系統的比例則為 28.3%,長尾為 10.5%。分類由項目自行申報,不能證明套件實際具備跨平台或純 Python 特性。