小樣本生存資料的遷移學習:n=50 時哪些方法有效
Zhao 等人在結直腸癌 I 期相關隊列研究中發現,遷移學習可提升小樣本生存模型表現,樣本量低至 n=50 時仍觀察到改善。完整目標隊列中,RSF/TSF 的 Ctd 由 0.7940 升至 0.8297,是文中最高值。研究以 TSF 遷移樹結構,並以預訓練和微調處理 DeepSurv、Cox-CC 及 DeepHit;結果限於相關來源隊列。
Zhao 等人在結直腸癌 I 期相關隊列研究中發現,遷移學習可提升小樣本生存模型表現,樣本量低至 n=50 時仍觀察到改善。完整目標隊列中,RSF/TSF 的 Ctd 由 0.7940 升至 0.8297,是文中最高值。研究以 TSF 遷移樹結構,並以預訓練和微調處理 DeepSurv、Cox-CC 及 DeepHit;結果限於相關來源隊列。
AC-3 透過檢查 CSP 中受限制連接的變數,移除沒有相容值的選項,縮小搜尋空間。它反覆檢查弧,直至達到弧一致性,再由回溯等搜尋演算法完成求解;AC-3 只處理兩個變數之間的二元限制。
文章分析「學習何時思考:自適應 VLM 推理的雙參照離線最佳化」,並比較標準密集基線與最佳化系統的推理表現。基準測試中,最佳化系統的首個 token 延遲為 165 ms,KV cache 佔用減少 87.5%,吞吐量達 118.2 tok/s,Exact Match 為 100.0%。
清華大學、北京大學研究團隊發現,注意力匯聚會令少數 Token 集中承接反向訓練信號,形成「梯度匯聚」,而巨大激活可經 RMSNorm 衰減局部梯度。在 0.3B 模型中,採用 V-scale 後梯度匯聚比值中位數由約 40.3 降至 5.6,注意力匯聚仍然明顯;研究成果獲 NeurIPS 2026 接收。
《Prompts Blend Requirements and Solutions》提出,提示詞可作為不斷演進的需求工程產物。研究概述提示詞如何變化、如何支援驗證與確認,以及如何影響軟件質素,並提出透過受控實驗測試逐步改進提示詞能否提升生成軟件的質素。
研究團隊提出多模態概念透鏡 MC-Lens,分析視覺語言模型如何讀取概念、選擇性存取資訊,並將其用於後續計算與推理。實驗顯示,可靠的選擇性存取比概念可讀性較晚形成;不同模型家族和規模的模型則呈現共同的概念可讀性、依查詢而變的選擇性,以及跨任務介入效應。
AFFECT 透過訓練世界模型匹配時間相關動作噪聲引發的視覺變化,提升模型推演結果與真實環境的吻合度。在 DROID 上,模型中與真實機械人成功率的 Pearson 相關係數由 0.47 升至 0.79,FVD 最多降低 23%。使用經 AFFECT 訓練的世界模型選擇動作,任務成功率最多提升 8.3%。
VETO 將監督式微調更新投影至僅文字激活子空間的正交補空間,抑制 VideoLLM 的捷徑學習,並改善分佈外影片推理。在七個 VideoLLM 上,VETO 保留訓練分佈內的微調收益;在分佈轉移下的六項基準測試中,表現優於 SFT,並令模型根據完整輸入作答。
DailySafe 是一項評測多模態大語言模型能否在日常多輪互動中追蹤安全風險並提供合適協助的基準。它包含 195 組自然情境的多輪、多圖片互動,涵蓋 10 個日常領域及 42 類任務。DailySafe 已公開,並以個案安全標註評估模型在支持用戶正當目標的同時,能否識別及應對逐步浮現的風險。
StrideWorld 基準以運動前固定的參照,評測互動影片世界模型的場景剛性與動作一致性;結果顯示,多數模型會令場景變形,只有按估算場景深度縮放指令的兩個模型,能令大部分組合路線接近預測位置。研究測試了 140 個起始視角生成的影片,場景偏移最高達同一路徑剛性渲染的 7.3 倍。以少量渲染片段微調兩個模型,可消除大部分路線中途停滯。
WaveView 將扭曲後的來源影像注入預訓練生成器初始雜訊的相位,以生成新視角,並保留原有架構、只增加極少額外開銷。在 DL3DV 基準的所有重疊區間均勝過基線;最困難區間中,模型在共視區域的 PSNR 比 MetaView 高 0.84 dB,速度快 2.1 倍。以相同雜訊微調 AnyView,令其在 AnyViewBench 的零樣本 PSNR 從 11.58 提升至 12.35 dB。
AVTR 結合生成式視覺反思與文字推理,並按輸入內容學習選擇推理方式,以適應不同的感知與推理需求。在 16 項基準測試中,AVTR 較 Qwen3.5 基線平均提升 4.5 分,同時將推理延遲降低 33%。擴展至較小規模的骨幹模型時,AVTR 亦勝過受評估的 2B 規模基線。
PIPETTE 是一套提示詞注入紫隊測試框架,透過字典學習和在策略對抗訓練,將紅隊測試發現的攻擊轉化為對 LLM 智能體的防禦提升。它在 AgentDojo 和 ASB 評測中,令防禦模型在靜態攻擊下的攻擊成功率接近零,並能抵禦強適應性攻擊,同時維持接近未設防基線的正常任務效用。
UltraTex 提出級聯多視角框架,結合物理知識與視覺語言模型特徵,從單張參考圖像為 3D 網格生成符合物理特性的 PBR 紋理貼圖。框架先聯合預測反照率與世界空間着色法線,再根據生成的反照率、參考圖像及材質語義先驗預測金屬度與粗糙度貼圖。實驗顯示,UltraTex 在視覺保真度、材質準確度及物理合理性方面勝過現有開源和商業方法。
Game2Player 提出協同開發遊戲環境與玩家的框架,大規模收集多元且可驗證的遊戲體驗。團隊建成568款經驗證的網頁遊戲、3,436項任務,收集15.7K條軌跡(307小時遊戲時間),並保留50款遊戲作為 PlayerBench。
Jeveration 將凍結的視覺語言模型改作生成模型,讓 System One 模型以單次前向傳播生成連貫圖像,並支援圖像轉圖像及密集預測。模型生成 512x512 圖像需時 78 ms,速度最高比現有統一模型快 122x。實驗顯示,其圖像質素及密集預測效能具競爭力。
研究團隊提出 STOPD,透過隨機截斷生成並以逆概率加權補償,在準確率與 Vanilla OPD 接近的情況下,令訓練提速 1.3–2.2 倍。實驗中,生成 token 減少 25%–48%。論文和程式碼均已公開。
Energy-Based Reasoners(EBRs)以1.8M參數在Sudoku-Extreme達到99.9%準確率,推理計算量較次佳模型少345×。在多解基準測試中,EBRs 的有效解覆蓋率達到最先進水平,單次取樣準確率接近100%。
TPHC 結合張量並行分片與 Hyper-Connections 殘差流,降低語言模型損失並提升零樣本推理表現。8B 模型採四條流時,訓練時間較 mHC 多 9%;流數由四增至十六,訓練時間僅多 19%。1.1B 模型以 100B tokens 訓練後,驗證損失較同流數 mHC 低 0.7-1.0%,六項常識推理基準的平均零樣本準確率高 0.3-0.7 個百分點。
具備足夠能力的凍結 LLM 智能體可在獲得基本資源和一般自我改進目標後,自行構建以情境為基礎的自我學習算法。研究以遊戲作為測試環境,讓智能體收集經驗並更新文字文件,過程中沒有外部指定的循環,也不提供真實世界數據。學得的文字成果可遷移至不同遊戲及 3D 導航任務,並在相關測試中帶來改善。
研究發現,讓大型語言模型在不使用梯度訓練下編寫權重時,會設計稀疏表格或聯想記憶模型,而非 Transformer。三個前沿 LLM 設計的模型測試準確率最高達 54.4%;其中一個模型的參數量約少 1,800x,準確率仍高於同一 LLM 編寫的最準確已發布 Transformer,聯想記憶模型在 GPU 上則快達 17x。預訓練 LLM 的準確率仍較高。
六篇文章剖析 Agent 記憶的常見失效:即使新資訊仍在上下文中,模型也可能選用舊值;檢索集中於少數項目,亦會令罕見狀態的預測錯誤累積。相關方案包括在讀取時整理記憶、按排名分配提示詞預算,以及把穩定的控制決策移出提示詞、編譯成程式碼。文章亦介紹 Pi 1.0 的 Codemode,以 JavaScript 在 QuickJS 沙盒中組合工具呼叫。
UIUC、香港科技大學及德克薩斯農工大學等機構的研究者提出 A2D,透過強化學習優化問題生成器,為在策略蒸餾合成更有學習價值的問題。A2D 根據教師與學生的預測分佈評估問題,不需外部訓練問題或正確答案。實驗中,合成問題令學生回答長度減少約 20%,累計學習信號增加約 28%。
TabBioMed 建立涵蓋 94 個經整理公開數據集的生物醫學表格學習基準,統一分類、回歸及多目標任務的評估,並比較 23 個模型。基礎模型整體預測表現最佳,但在推理時間或訓練成本受限時,樹模型和經調校的多層感知器仍具競爭力,且往往表現較佳。研究同時公開數據集及切分、預處理程式碼、基線模型和結果。
WAM-Policy透過兩階段流程,將世界動作模型轉化為可依語言指令執行四足行走操作的策略。在包含10項模擬任務的QLM-Bench上,遷移策略得分77.0%,OPSD學生模型得分76.7%,取樣速度快14倍;加入任務專屬RL及M-OPD後,得分升至85.0%。研究亦將OPSD學生模型部署於實體Unitree Go2 Air。
Inhabitant 是一個免訓練 Agent 框架,讓語言模型規劃並執行長時程人景互動,透過位置、路徑與姿勢指定動作、量度執行偏差,再修訂控制。
研究提出 World Snapshot Models(WSMs)統一框架,將近乎所有視覺任務重新表述為生成任務,以統一訓練及執行這些任務。研究在超過 1,000 項視覺任務上驗證這些法則,並提出統一訓練框架,供未來視覺任務研究及應用參考。
1 月 31 日發表的四篇 AI 論文分別提出 RAPO 視覺保留方法、VoxMel 無 tokenizer 的 TTS 框架、LoopFill 推測解碼算法,以及 DominoBench 物理推理基準。RAPO 在貪婪解碼下的平均評分由 GRPO 的 27.87 提升至 31.41;VoxMel 的 0.6B 配置在 LibriSpeech 上達到 WER 1.98、SIM 0.721。
研究團隊提出 CrossRPO,以對比集訓練 ViRA 視覺智能體,令模型須讀取超高解像度圖像中的證據才能答對。在最高解像度的 ViRA-Bench 上,CrossRPO 的整組準確率為 63.3%,高於 GRPO 的 59.3%。
報告提出 Sage S1.5 Flash,這是一款 320-billion-parameter 通用混合專家模型,旨在根據科學證據進行推理,並在互動環境中執行任務。
研究人員推出 SWE-CoWork,透過模擬組織中的協作任務,評估編碼智能體處理真實開發工作的能力。基準涵蓋 101 個真實程式碼庫、11 種語言及 12 個領域;智能體須向 26 名模擬同事和記錄查找需求,並協作及核實工作。模擬同事是否足夠真實,仍是評估結果能否反映真實組織表現的不確定因素。
MovieRoll 提出由基礎模型到蒸餾模型的框架,結合串流微調、長時程生成蒸餾與長上下文推理。HieraKV 最多減少 78% 快取記憶體用量,同時提升生成質素。在 HeliosBench 上,MovieRoll-Base 訓練影片長度最高為 15s,生成至 30s 時仍具競爭力;MovieRoll-Distilled 在最長 60s 的單事件及多事件評測中,總分均高於其他受比較方法。
潛在回饋將每個 token 的頂層狀態送入下一個 token 的輸入;除獨有數據相對模型規模不足的情況外,它能提升計算與數據效率。獨有數據固定時,潛在回饋可用較少計算達到 Transformer 的損失;最多可節省 48% 計算量及 47% 獨有數據。研究以 60M 至 271M 參數模型擬合的 scaling law,預測 778M 模型的損失誤差在 0.3% 以內。
Tree-Ising 用約 $0.90 和 31 分鐘修復 Qwen3.5-0.8B,在 MATH-500@4 得分 54.6%,高於 GPT-6 Astra 智能體編輯的 51.7%。
LLM Agent 評測中,合成測試案例適合快速比較版本,卻不足以認證實際表現;最終發佈門檻應以真實生產軌跡評估。文中援引研究指出,合成案例可能較人類撰寫案例容易,令絕對分數偏高;作者亦以自身智能體失效經歷及其他事故説明測試集未涵蓋的輸入風險。作者建議定期對真實軌跡作遮蓋並標註成敗,再分開呈報兩類通過率,以真實案例通過率及兩者差距作為發佈門檻。
BiCAT 提出一種雙臂動作 Token 化方法,讓兩隻手臂共享動作表示,並透過對稱跨臂注意力和聯合解碼器,根據另一隻手臂的動作預測各自的 tokens。在十項 RoboTwin 2.0 模擬任務及三種機械臂的六項真實任務中,BiCAT 的成功率在比較的 Token 化方法中最高;模擬平均成功率較八種基線中最強者高 17.6 個百分點,每個動作區塊只需 40.5 ms。
研究提出 RICoT,將頁面串流分段視為整段串流上的序列處理,並在滑動視窗間保留已讀內容摘要。在 FinancePSS-205 上,RICoT 對三款開放權重大語言模型的效果媲美或優於配對式及視窗提示;在 TABME 測試子集上,搭配 GLM-5 達到 document F1 0.847、boundary F1 0.915。
VSpark透過改良推測解碼,加速自回歸視覺語言動作模型,在多項機械人操作任務中達到 1.28x–2.10x 無損加速。方法包括校準動作噪聲 rollout、隱藏特徵對齊,以及重用被拒草稿的後續預測。測試涵蓋四個採用不同動作 tokenizer 的 VLA,以及四項操作基準。
在三個購物基準測試中,提高 LLM 購物智能體的思考力度,未能在統計上改善產品選擇質素,卻顯著提高其自我報告的信心。大多數模型在不同思考力度下校準不佳,而且常在相同任務中出錯,甚至選中同一件錯誤產品。
Google 的地理空間推理智能體 GRA 以 Gemini 驅動;一項論文研究建立 GeoExpertQueries 和 GeoKTools 兩個基準,評估開放式分析的合理性與工具編排能力。