跳到正文
10月15日週四
  1. DEV Community33

    Bienestar digital con IA: por qué los bloqueadores fallan y cómo hacerlo predictivo, adaptativo y con coach

    Desconecta 以預測模型、可解釋的風險評分、逐步調整的使用限制和 LLM 教練,應對屏幕時間控制應用的靜態限制、滯後提醒和容易解除等問題。應用的使用時間預測達 R²≈0.77,風險評分達 AUC≈0.79;作者選擇保留真實數據的噪音,而不透過人為清理數據提高分數。後端由 FastAPI 提供分析,供網頁示範和原生 Android 應用使用。

  2. HuggingFace Daily Papers(社區熱門論文)47

    Glance Forcing:讓雙向擴散模型實現自回歸生成

    研究提出 Glance Forcing,將雙向擴散模型蒸餾為自回歸生成模型,僅用一條 PF-ODE 軌跡便超越已充分訓練的 SOTA 基線。VBench Total 由 84.04 升至 84.22,軌跡收集成本由數千 GPU-hours 降至約一個 A100-GPU-hour。方法將去噪軌跡拆分為慢、快兩個專家,並保持預訓練教師模型完全凍結。

  3. HuggingFace Daily Papers(社區熱門論文)45

    Cortex: Consolidating Context into Parametric Memory

    Cortex 透過生成前瞻性查詢,將依賴上下文的輸出蒸餾為可合併的低秩或結構化前饋網絡更新,將上下文帶來的能力增益整合至模型參數。研究以涵蓋 4B–120B 密集及混合專家模型的測試集評估整合與保留效果。在 14B 模型上連續進行 50 次事實編輯後,Cortex-Structural 恢復 88.9% 的上下文增益,同時保留 99.8% 的原有非目標表現。

  4. HuggingFace Daily Papers(社區熱門論文)50

    Latent Compaction 以測試時訓練壓縮 KV cache

    論文提出 Latent Compaction,透過測試時訓練為文件學習精簡的 KV cache,以減少長上下文生成時的記憶體用量和注意力成本。訓練先擬合全量 cache 的注意力輸出和 log-normalizers,再以端到端蒸餾優化整個 cache;模型權重保持凍結,只使用關於文件的通用提示詞,不接觸下游問題或答案。

  5. HuggingFace Daily Papers(社區熱門論文)48

    τ-Emotion-Bench: Exposing the Interaction Fragility of LLM Agents through Real-World User Emotions

    τ-Emotion-Bench 以受控情緒條件下的用戶互動,評估工具呼叫智能體在長程任務中的可靠性。Tracer 是可擴展的數據生成流程,用於構建任務及收集互動軌跡,並篩除過度依賴用戶的軌跡。實驗顯示,前沿智能體的任務成功率與穩定完成任務的能力存在明顯差距;Tracer 生成的監督數據可提升不同規模的 Qwen3 模型,並泛化至未見領域及 τ-Bench、τ-Trait。

  6. 創業邦36

    AI 讀遍互聯網,仍未學會老師傅的手藝:Physical AI 欠缺的數據掌握在人手中

    Physical AI 產業化受真實數據短缺制約,老師傅掌握的手藝相關數據尚未網絡化或廣泛流通。與大語言模型可使用互聯網數據不同,Physical AI 需要真實的機械人部署數據形成閉環,並依賴算力、數據工程、模型、模擬與合成數據、運行環境及本體硬件等基礎設施。安全仍是大規模商用前的重要難關。

  7. HuggingFace Daily Papers(社區熱門論文)49

    方法更多,智能體更好?智能體強化學習中自我蒸餾的現實檢驗

    研究比較智能體強化學習中十種具代表性的自我蒸餾方法與 GRPO,發現沒有方法能在所有設定下持續勝出。評估涵蓋 ALFWorld、ScienceWorld、Search-QA 及 WebShop 四項任務、三種模型規模,共進行 132 次訓練,記錄 12,124.4 個 H800 GPU 小時。強勁的最終表現可能掩蓋訓練不穩定,增加訓練成本亦不一定帶來更佳表現。

  8. EJ Tech 信報科技 · AI40

    港落實AI訓練版權法勿再拖(郝本尼)

    香港政府自2023年起探討完善《版權條例》以應對 AI 訓練版權問題,但至今未公佈實務守則或指引,2026年《施政報告》亦未提及相關立法。美國已發布三份相關報告,中國今年則展開版權整治行動;香港媒體加入 SPUR 聯盟,嘗試透過跨地合作爭取與 AI 企業談判的籌碼。文章主張香港應盡快採取措施,保障版權人權益。

  9. HuggingFace Daily Papers(社區熱門論文)43

    COUNT:以 N-gram 計數擴展主機記憶體應用,實現免訓練適應

    COUNT 將預先計算的 N-gram 計數存於主機記憶體,無需新增學習參數即可建立嵌入向量。用於預訓練 1B 參數語言模型時,在固定計算預算下可改善驗證損失,改善幅度最高相當於使用多 57% 計算量的模型。推理時可換用特定領域語料的計數表,無需訓練即可適應新任務。

  10. HuggingFace Daily Papers(社區熱門論文)37

    Recovering Reliable Supervision via Critique-Guided On-Policy Distillation

    CriticOPD 透過批判引導的 On-Policy Distillation,改善 OPD 的監督可靠性:教師模型會參考標準答案批判學生的錯誤推理,學生再根據回饋改寫後續內容。六個數學推理基準測試中,CriticOPD 的平均準確率較 OPD 在 Qwen3-1.7B 提升 4.57 個百分點,在 Qwen3-0.6B 提升 4.06 個百分點;競賽題目上的提升最大。

  11. HuggingFace Daily Papers(社區熱門論文)47

    Training LLMs for Multi-Agent Collaboration with Verifiable Information Rewards

    CoSIR 以可驗證資訊獎勵和自我對弈強化學習微調 LLM,將協作能力納入訓練目標。在 7 項未見過的自然語言協作基準測試中,CoSIR 在 Qwen3-4B、Qwen3-8B 和 Gemma-3-4B-it 三個模型上均取得最高總分;Qwen3-8B 比基礎模型高 31.85 分。模型在 GSM8K、MMLU 和 IFEval 的表現大致維持。

  12. HuggingFace Daily Papers(社區熱門論文)40

    LatentLoop: Scaling Looped MoE Models with Asymmetric Compute Allocation

    LatentLoop 透過非對稱計算分配擴展循環 MoE 模型:壓縮第一次循環的序列,第二次循環保留完整解析度,並將節省的計算資源用於增加隱藏層大小。在涵蓋 1.3B--7B 參數的 15 種配置中,LatentLoop 的驗證 NLL 持續較低;在擬合 NLL 為 1.988 時,相較 vanilla MoE 和循環基線,預測計算量分別節省 19.0\% 和 7.9\%。

  13. DEV Community47

    VIDRAFT 在僅供推理的 NPU 上從零預訓練 VKORE-46M-NPU,毋須 GPU

    VIDRAFT 僅用第一代、僅供推理的 NPU,從零預訓練出 46M 參數的語言模型 VKORE-46M-NPU,全程毋須 GPU。在相同條件下,NPU 與 GPU 訓練的損失軌跡相關係數為 0.99,反映訓練動態相近,但不代表速度相同。模型權重及比較分析資料已在 Hugging Face 公開,訓練程式碼則未公開。

  14. CNET60

    OpenAI 因使用兒童資料訓練 ChatGPT 遭起訴

    夏威夷一名家長代表兩名未成年子女起訴 OpenAI,指控其未經家長同意使用數百萬名兒童的 ChatGPT 資料訓練模型。訴狀稱,一名 12 歲女孩曾告知 ChatGPT 自己的年齡,對話仍然繼續,內容亦涉及健康、外貌和情緒等個人資料。原告要求案件獲批集體訴訟,並按每名兒童貢獻的 token 比例獲得 OpenAI 股權或等值現金。

  15. HuggingFace Daily Papers(社區熱門論文)40

    ACEdit:以非對稱條件化穩定多輪圖片編輯

    ACEdit提出結合自我強制訓練、教師蒸餾與非對稱條件化的訓練方案,令多輪圖片編輯在累積分佈偏移下保持穩定。學生模型依序編輯自身先前輸出,教師圖像編輯模型則以原始乾淨圖片為基準,並接收複合編輯指令。實驗顯示,該方法在維持編輯品質和指令遵循度的同時,顯著減少長序列多輪編輯中的品質下降。

  16. HuggingFace Daily Papers(社區熱門論文)40

    預測在策略自我蒸餾中特權資訊的成效

    研究發現,在策略自我蒸餾中,特權資訊的成效取決於內容、生成來源及學生模型;基於 KL 的指標比直接效用估算更能預測訓練收益。研究評估 16 種特權資訊配置、3 個多輪智能體基準及 3 個學生模型,並發現以 Δd^{-}_{err} 為各任務挑選特權資訊,訓練後表現優於隨機選擇。有效的特權資訊配合 GRPO,亦能勝過強力 GRPO 基準。

  17. HuggingFace Daily Papers(社區熱門論文)40

    Training Reasoning Models to Generate Diverse Scientific Ideas

    研究人員提出集合層級的強化學習目標,訓練語言模型根據文件生成多元且高質素的構想。經訓練的 8B 模型在無污染基準測試上的創意效用高於 Claude Opus 4.8 和 GPT-6 Astra;專家評估認為,其構想集與 Claude Opus 4.8 一樣有前景,獨特構想略多。由編碼智能體執行概念驗證實驗時,模型的 success@k 與 Claude Opus 4.8 相若。

  18. HuggingFace Daily Papers(社區熱門論文)44

    透過免訓練權重編輯抵禦有害指令

    一種免訓練方法利用少量提示詞對,對指令微調模型進行對比式權重編輯,降低模型遵從目標有害指令的程度。在兩項要求模型説謊的基準上,誠實回應率分別較最強替代方法高 6.2 和 4.6 個百分點,五個模型中有三個提升顯著。針對性別歧視指令,歧視回應率由 57.9% 降至 24.3%,配合公平提示詞後進一步降至 11.9%。

  19. HuggingFace Daily Papers(社區熱門論文)42

    探討合成數據的實證私隱狀況

    研究比較了合成醫療記錄上不同資料層面及訓練層面的幹預方法,發現以具私隱意識的方式改寫合成數據,比直接微調或 DP-SGD 更能兼顧模型能力與私隱保護。相較於一般改寫,要求替換獨特私隱細節的改寫指示能進一步減少私隱洩漏;改寫模型能力較強時,下游洩漏風險通常較低。

  20. HuggingFace Daily Papers(社區熱門論文)41

    Lean4AgenticRL:以可驗證的多層級過程獎勵推進智能體強化學習

    Lean4AgenticRL 將可驗證的多層級過程獎勵納入 Lean4 形式化框架,提升軟件工程及終端任務的智能體強化學習。該框架用於訓練 LAR-9B 和 LAR-27B,LAR-27B 在 TerminalBench-2.1 得分 77.3%。兩款模型平均較基礎模型高 9.89%,並較已知同等規模的第二佳模型高 5.07%。

  21. HuggingFace Daily Papers(社區熱門論文)43

    稀疏自編碼器中的表徵重新分配

    研究提出重新分配敏感度分數(RSS),用以識別稀疏自編碼器中反覆出現、方向一致的特徵變化,並量化其對下游讀出的貢獻,而不把表徵變化等同於失敗。研究評估了涵蓋八個語言模型的 27 個預訓練 SAE,發現提示詞變換在未用於篩選的變體上產生可重現的重新分配模式。

  22. HuggingFace Daily Papers(社區熱門論文)41

    EvoHeir:選擇並非學習——如何決定模型的演進方向

    EvoHeir將參數繼承與經驗繼承分開,並以全新評估題目判斷是否繼承模型更新,改善自我演進語言模型的繼承方式。HeirCommit在相同接納率下,較隨機繼承將已接納更新中的有害比例降低68-83%。EvoHeir在四個骨幹模型上的數學及一般推理平均表現最佳,數學平均較最強基線Agent0高5.3%。

  23. elsewhere:文章50

    田柯宇自稱「基座模型創業者」,稱自己從不缺卡

    文章以諷刺口吻整理田柯宇與字節跳動訴訟中的訓練系統幹預爭議,並對照其本人説法與指控方描述。田柯宇稱自己在約十天內手動停掉對方程序約五次,否認持續兩個月攻擊;指控方則稱其篡改 PyTorch 源碼、終止訓練進程,並利用 checkpoint 設置登入後門。一審判田柯宇賠50萬,字節跳動上訴索賠800萬;文章亦摘錄他對多模態基座模型及世界模型的主張,並加以諷刺評論。

  24. Hugging Face Blog61

    HiRO-ACEv2 推出全球 3 km 氣候模擬,成本約為 X-SHiELD 的 1/300

    HiRO-ACEv2 推出新的降尺度模型 HiROv2,可生成全球 3 km 氣候數據,整套系統成本約為 X-SHiELD 的 1/300。HiROv2 可同時預測多種高解析度氣象場;以降解析度的 X-SHiELD 數據為輸入時,即使是每百萬個數據點才出現一次的事件,高解析度統計與目標模擬仍相差不超過 3%。

    推薦理由:內容比較 HiRO-ACEv2 與 X-SHiELD 的生成成本和極端天氣統計表現,並交代系統目前仍受限於按 X-SHiELD 調校的 ACE。

  25. HuggingFace Daily Papers(社區熱門論文)48

    ACCRUE: Continual Off-Policy Reinforcement Learning for Robot Foundation Models

    ACCRUE 透過持續離策略強化學習改善機械人基礎模型,讓機械人在學習新任務時保留先前技能。使用 π0.5 + FastTD3,後續真實世界任務約需 4–12 分鐘機械人互動,達到 95% 成功率停止準則;相較單任務強化學習,AutoMate 和 NIST 組裝任務所需互動分別減少 31.0–68.5% 和 38.7–42.9%。