跳到正文
今天11月22日週日2 則
  1. DEV Community43

    小樣本生存資料的遷移學習:n=50 時哪些方法有效

    Zhao 等人在結直腸癌 I 期相關隊列研究中發現,遷移學習可提升小樣本生存模型表現,樣本量低至 n=50 時仍觀察到改善。完整目標隊列中,RSF/TSF 的 Ctd 由 0.7940 升至 0.8297,是文中最高值。研究以 TSF 遷移樹結構,並以預訓練和微調處理 DeepSurv、Cox-CC 及 DeepHit;結果限於相關來源隊列。

11月21日週六
  1. 新浪科技49

    大模型為何出現「巨大激活」?清華、北大研究從反向傳播找到新線索

    清華大學、北京大學研究團隊發現,注意力匯聚會令少數 Token 集中承接反向訓練信號,形成「梯度匯聚」,而巨大激活可經 RMSNorm 衰減局部梯度。在 0.3B 模型中,採用 V-scale 後梯度匯聚比值中位數由約 40.3 降至 5.6,注意力匯聚仍然明顯;研究成果獲 NeurIPS 2026 接收。

11月20日週五
  1. HuggingFace Daily Papers(社區熱門論文)43

    探究視覺語言模型的「意識」:選擇性存取與全域工作空間

    研究團隊提出多模態概念透鏡 MC-Lens,分析視覺語言模型如何讀取概念、選擇性存取資訊,並將其用於後續計算與推理。實驗顯示,可靠的選擇性存取比概念可讀性較晚形成;不同模型家族和規模的模型則呈現共同的概念可讀性、依查詢而變的選擇性,以及跨任務介入效應。

  2. HuggingFace Daily Papers(社區熱門論文)45

    學習動作如何改變結果:以動作效應匹配提升世界模型的動態保真度

    AFFECT 透過訓練世界模型匹配時間相關動作噪聲引發的視覺變化,提升模型推演結果與真實環境的吻合度。在 DROID 上,模型中與真實機械人成功率的 Pearson 相關係數由 0.47 升至 0.79,FVD 最多降低 23%。使用經 AFFECT 訓練的世界模型選擇動作,任務成功率最多提升 8.3%。

  3. HuggingFace Daily Papers(社區熱門論文)40

    抑制 VideoLLM 微調收益背後的捷徑學習

    VETO 將監督式微調更新投影至僅文字激活子空間的正交補空間,抑制 VideoLLM 的捷徑學習,並改善分佈外影片推理。在七個 VideoLLM 上,VETO 保留訓練分佈內的微調收益;在分佈轉移下的六項基準測試中,表現優於 SFT,並令模型根據完整輸入作答。

  4. HuggingFace Daily Papers(社區熱門論文)43

    DailySafe:評測日常多輪多模態互動中的動態安全意識

    DailySafe 是一項評測多模態大語言模型能否在日常多輪互動中追蹤安全風險並提供合適協助的基準。它包含 195 組自然情境的多輪、多圖片互動,涵蓋 10 個日常領域及 42 類任務。DailySafe 已公開,並以個案安全標註評估模型在支持用戶正當目標的同時,能否識別及應對逐步浮現的風險。

11月19日週四
  1. HuggingFace Daily Papers(社區熱門論文)50

    StrideWorld:互動影片世界模型的場景剛性與動作一致性基準評測

    StrideWorld 基準以運動前固定的參照,評測互動影片世界模型的場景剛性與動作一致性;結果顯示,多數模型會令場景變形,只有按估算場景深度縮放指令的兩個模型,能令大部分組合路線接近預測位置。研究測試了 140 個起始視角生成的影片,場景偏移最高達同一路徑剛性渲染的 7.3 倍。以少量渲染片段微調兩個模型,可消除大部分路線中途停滯。

  2. HuggingFace Daily Papers(社區熱門論文)39

    WaveView:新視角就在雜訊之中

    WaveView 將扭曲後的來源影像注入預訓練生成器初始雜訊的相位,以生成新視角,並保留原有架構、只增加極少額外開銷。在 DL3DV 基準的所有重疊區間均勝過基線;最困難區間中,模型在共視區域的 PSNR 比 MetaView 高 0.84 dB,速度快 2.1 倍。以相同雜訊微調 AnyView,令其在 AnyViewBench 的零樣本 PSNR 從 11.58 提升至 12.35 dB。

  3. HuggingFace Daily Papers(社區熱門論文)42

    AVTR:以視覺想像實現自適應多模態推理

    AVTR 結合生成式視覺反思與文字推理,並按輸入內容學習選擇推理方式,以適應不同的感知與推理需求。在 16 項基準測試中,AVTR 較 Qwen3.5 基線平均提升 4.5 分,同時將推理延遲降低 33%。擴展至較小規模的骨幹模型時,AVTR 亦勝過受評估的 2B 規模基線。

  4. HuggingFace Daily Papers(社區熱門論文)45

    PIPETTE:提升 LLM 智能體抵禦間接提示詞注入攻擊的紫隊測試框架

    PIPETTE 是一套提示詞注入紫隊測試框架,透過字典學習和在策略對抗訓練,將紅隊測試發現的攻擊轉化為對 LLM 智能體的防禦提升。它在 AgentDojo 和 ASB 評測中,令防禦模型在靜態攻擊下的攻擊成功率接近零,並能抵禦強適應性攻擊,同時維持接近未設防基線的正常任務效用。

  5. HuggingFace Daily Papers(社區熱門論文)32

    UltraTex:對齊物理知識以生成高保真 PBR 紋理

    UltraTex 提出級聯多視角框架,結合物理知識與視覺語言模型特徵,從單張參考圖像為 3D 網格生成符合物理特性的 PBR 紋理貼圖。框架先聯合預測反照率與世界空間着色法線,再根據生成的反照率、參考圖像及材質語義先驗預測金屬度與粗糙度貼圖。實驗顯示,UltraTex 在視覺保真度、材質準確度及物理合理性方面勝過現有開源和商業方法。

  6. HuggingFace Daily Papers(社區熱門論文)45

    Jeveration:System One 模型現可生成圖像

    Jeveration 將凍結的視覺語言模型改作生成模型,讓 System One 模型以單次前向傳播生成連貫圖像,並支援圖像轉圖像及密集預測。模型生成 512x512 圖像需時 78 ms,速度最高比現有統一模型快 122x。實驗顯示,其圖像質素及密集預測效能具競爭力。

11月18日週三
  1. HuggingFace Daily Papers(社區熱門論文)38

    TPHC:以張量並行分組更新改進 Hyper-Connections

    TPHC 結合張量並行分片與 Hyper-Connections 殘差流,降低語言模型損失並提升零樣本推理表現。8B 模型採四條流時,訓練時間較 mHC 多 9%;流數由四增至十六,訓練時間僅多 19%。1.1B 模型以 100B tokens 訓練後,驗證損失較同流數 mHC 低 0.7-1.0%,六項常識推理基準的平均零樣本準確率高 0.3-0.7 個百分點。

  2. HuggingFace Daily Papers(社區熱門論文)49

    LLM 智能體仍需要被告知如何自我改進嗎?

    具備足夠能力的凍結 LLM 智能體可在獲得基本資源和一般自我改進目標後,自行構建以情境為基礎的自我學習算法。研究以遊戲作為測試環境,讓智能體收集經驗並更新文字文件,過程中沒有外部指定的循環,也不提供真實世界數據。學得的文字成果可遷移至不同遊戲及 3D 導航任務,並在相關測試中帶來改善。

  3. HuggingFace Daily Papers(社區熱門論文)48

    權重空間編程不需要 Transformer

    研究發現,讓大型語言模型在不使用梯度訓練下編寫權重時,會設計稀疏表格或聯想記憶模型,而非 Transformer。三個前沿 LLM 設計的模型測試準確率最高達 54.4%;其中一個模型的參數量約少 1,800x,準確率仍高於同一 LLM 編寫的最準確已發布 Transformer,聯想記憶模型在 GPU 上則快達 17x。預訓練 LLM 的準確率仍較高。

  4. DEV Community47

    Agent 記憶在哪些環節失效:6 篇文章探討讀取時整理、過時更新、長尾分佈與 harness 控制

    六篇文章剖析 Agent 記憶的常見失效:即使新資訊仍在上下文中,模型也可能選用舊值;檢索集中於少數項目,亦會令罕見狀態的預測錯誤累積。相關方案包括在讀取時整理記憶、按排名分配提示詞預算,以及把穩定的控制決策移出提示詞、編譯成程式碼。文章亦介紹 Pi 1.0 的 Codemode,以 JavaScript 在 QuickJS 沙盒中組合工具呼叫。

  5. 新浪科技49

    讓大語言模型學會向教師提問:UIUC 等提出 Ask to Distill,推動知識蒸餾由「回答問題」轉向「優化問題」

    UIUC、香港科技大學及德克薩斯農工大學等機構的研究者提出 A2D,透過強化學習優化問題生成器,為在策略蒸餾合成更有學習價值的問題。A2D 根據教師與學生的預測分佈評估問題,不需外部訓練問題或正確答案。實驗中,合成問題令學生回答長度減少約 20%,累計學習信號增加約 28%。

  6. HuggingFace Daily Papers(社區熱門論文)45

    TabBioMed:大型生物醫學表格學習基準

    TabBioMed 建立涵蓋 94 個經整理公開數據集的生物醫學表格學習基準,統一分類、回歸及多目標任務的評估,並比較 23 個模型。基礎模型整體預測表現最佳,但在推理時間或訓練成本受限時,樹模型和經調校的多層感知器仍具競爭力,且往往表現較佳。研究同時公開數據集及切分、預處理程式碼、基線模型和結果。

  7. HuggingFace Daily Papers(社區熱門論文)45

    WAM-Policy:以在策略蒸餾實現四足行走操作的世界動作模型

    WAM-Policy透過兩階段流程,將世界動作模型轉化為可依語言指令執行四足行走操作的策略。在包含10項模擬任務的QLM-Bench上,遷移策略得分77.0%,OPSD學生模型得分76.7%,取樣速度快14倍;加入任務專屬RL及M-OPD後,得分升至85.0%。研究亦將OPSD學生模型部署於實體Unitree Go2 Air。

  8. DEV Community40

    四篇新 AI 論文推進推理、TTS 與解碼效率

    1 月 31 日發表的四篇 AI 論文分別提出 RAPO 視覺保留方法、VoxMel 無 tokenizer 的 TTS 框架、LoopFill 推測解碼算法,以及 DominoBench 物理推理基準。RAPO 在貪婪解碼下的平均評分由 GRPO 的 27.87 提升至 31.41;VoxMel 的 0.6B 配置在 LibriSpeech 上達到 WER 1.98、SIM 0.721。

11月17日週二
  1. DEV Community38

    SWE-CoWork 基準測試在模擬組織中評估編碼智能體協作能力

    研究人員推出 SWE-CoWork,透過模擬組織中的協作任務,評估編碼智能體處理真實開發工作的能力。基準涵蓋 101 個真實程式碼庫、11 種語言及 12 個領域;智能體須向 26 名模擬同事和記錄查找需求,並協作及核實工作。模擬同事是否足夠真實,仍是評估結果能否反映真實組織表現的不確定因素。

  2. HuggingFace Daily Papers(社區熱門論文)43

    MovieRoll:長時程影片生成的系統化框架

    MovieRoll 提出由基礎模型到蒸餾模型的框架,結合串流微調、長時程生成蒸餾與長上下文推理。HieraKV 最多減少 78% 快取記憶體用量,同時提升生成質素。在 HeliosBench 上,MovieRoll-Base 訓練影片長度最高為 15s,生成至 30s 時仍具競爭力;MovieRoll-Distilled 在最長 60s 的單事件及多事件評測中,總分均高於其他受比較方法。

  3. HuggingFace Daily Papers(社區熱門論文)48

    潛在回饋是計算與數據放大器

    潛在回饋將每個 token 的頂層狀態送入下一個 token 的輸入;除獨有數據相對模型規模不足的情況外,它能提升計算與數據效率。獨有數據固定時,潛在回饋可用較少計算達到 Transformer 的損失;最多可節省 48% 計算量及 47% 獨有數據。研究以 60M 至 271M 參數模型擬合的 scaling law,預測 778M 模型的損失誤差在 0.3% 以內。

  4. DEV Community59

    LLM Agent 評測:合成案例適合比較版本,真實軌跡用於發佈把關

    LLM Agent 評測中,合成測試案例適合快速比較版本,卻不足以認證實際表現;最終發佈門檻應以真實生產軌跡評估。文中援引研究指出,合成案例可能較人類撰寫案例容易,令絕對分數偏高;作者亦以自身智能體失效經歷及其他事故説明測試集未涵蓋的輸入風險。作者建議定期對真實軌跡作遮蓋並標註成敗,再分開呈報兩類通過率,以真實案例通過率及兩者差距作為發佈門檻。

  5. HuggingFace Daily Papers(社區熱門論文)46

    BiCAT:雙臂協調動作 Token 化

    BiCAT 提出一種雙臂動作 Token 化方法,讓兩隻手臂共享動作表示,並透過對稱跨臂注意力和聯合解碼器,根據另一隻手臂的動作預測各自的 tokens。在十項 RoboTwin 2.0 模擬任務及三種機械臂的六項真實任務中,BiCAT 的成功率在比較的 Token 化方法中最高;模擬平均成功率較八種基線中最強者高 17.6 個百分點,每個動作區塊只需 40.5 ms。

  6. HuggingFace Daily Papers(社區熱門論文)38

    RICoT:用於頁面串流分段的循環交錯鏈式推理

    研究提出 RICoT,將頁面串流分段視為整段串流上的序列處理,並在滑動視窗間保留已讀內容摘要。在 FinancePSS-205 上,RICoT 對三款開放權重大語言模型的效果媲美或優於配對式及視窗提示;在 TABME 測試子集上,搭配 GLM-5 達到 document F1 0.847、boundary F1 0.915。

  7. HuggingFace Daily Papers(社區熱門論文)41

    VSpark:自回歸視覺語言動作模型的推測解碼

    VSpark透過改良推測解碼,加速自回歸視覺語言動作模型,在多項機械人操作任務中達到 1.28x–2.10x 無損加速。方法包括校準動作噪聲 rollout、隱藏特徵對齊,以及重用被拒草稿的後續預測。測試涵蓋四個採用不同動作 tokenizer 的 VLA,以及四項操作基準。

  8. HuggingFace Daily Papers(社區熱門論文)49

    LLM 購物智能體想得更多,選擇不會更好

    在三個購物基準測試中,提高 LLM 購物智能體的思考力度,未能在統計上改善產品選擇質素,卻顯著提高其自我報告的信心。大多數模型在不同思考力度下校準不佳,而且常在相同任務中出錯,甚至選中同一件錯誤產品。

11月16日週一