跳到正文
目前篩選:論文
10月28日週三
  1. HuggingFace Daily Papers(社區熱門論文)42

    EPSBench:評測用於盈利預測的 LLM 智能體

    EPSBench 評測 LLM 智能體能否根據財務文件、業績電話會議紀錄及新聞預測季度盈利,並估算損益表項目。研究涵蓋 86 間美國公司、149 個公司季度,並以分析師共識比較六個模型的預測。三個模型的點預測誤差與分析師共識無可檢測差異;六個模型的名義 80% 預測區間只在 37–70% 的情況下涵蓋實際盈利,營業收入估算誤差解釋了模型間大部分表現差異。

  2. HuggingFace Daily Papers(社區熱門論文)53

    SO-101 Bench:面向低成本機械臂的語言條件空間操作基準

    SO-101 Bench 是以真實 SO-101 機械臂數碼孿生建立的模擬基準,用於評估語言條件下的空間操作。基準涵蓋 138 件物件及 916 個評估回合;五種未使用真實數據訓練的策略在模擬與實機測試中的排名完全一致(Spearman rho = 1.00,MMRV = 0.000),但模擬成功率偏高。

  3. DoNews51

    Meta AI 發佈 HackBench 基準,檢測自主研究智能體的獎勵劫持

    Meta AI 的 RAM 研究團隊發布 HackBench 評測基準,用於檢測自主研究智能體的獎勵劫持並定位日誌中的作弊命令。基準包含 169 條運行軌跡,其中 41 條是真實劫持案例、128 條為合成樣本;Claude Opus 5 的 F1 最高,為 64.88。Meta 團隊已公開全部軌跡數據與審計標籤,完整技術報告將上傳 arXiv。

  4. DoNews50

    研究提出 Visual Harness 視覺框架,提升多模態模型組合泛化能力

    Prime Intellect RL Residency 的研究提出 Visual Harness,透過裁剪、縮放及測量圖像,把複雜視覺問題拆解為子任務,拓展模型可解問題的範圍。GPT‑6 Luna 在 xhigh 推理檔位啟用框架後,Pass@1 由 57.1% 升至 63.5%,Pass@8 由 75.4% 升至 82.4%。研究亦指出,部分題目仍難以在多次嘗試中穩定答對。

  5. DEV Community29

    PyPI 命名規範與直覺相反:熱門套件依賴名稱比長尾套件更規範(4.8% vs 5.9%)

    PyPI 調查發現,熱門套件寫下的依賴名稱較少採用非規範拼法,比例為 4.78%,低於隨機抽取套件的 5.87%,結果與原先預測相反。套件自身名稱的非規範比例亦是長尾較高:熱門套件為 6.3%,隨機抽取套件為 12.08%。這項統計衡量的是名稱拼法;非規範名稱仍可由工具正規化並解析。

  6. DEV Community57

    SWE-bench Verified 評測分析:同一模型、同一 scaffold 跑 10 次,分數仍可相差最多 6 個百分點

    《On Randomness in Agentic Evals》發現,SWE-bench Verified 同一設定下的單次分數可相差 2.2 至 6.0 個百分點。實驗涵蓋 3 個模型、2 種温度及 2 個 scaffold,每個設定重複 10 次,共產生 60,000 條執行軌跡。該研究是未經同行評審的預印本,並指出温度設為 0 仍不能保證結果可重現;判讀排行榜時亦應查看重複次數和標準差。

  7. HuggingFace Daily Papers(社區熱門論文)49

    Investor's Last Exam:AI 智能體能否在不預知未來的情況下進行股票投資?

    Investor's Last Exam(ILE)以凍結的決策時點證據評估金融智能體的端到端股票研究,結果顯示頂尖模型擅長研究,但預測和投資判斷仍有不足。評估涵蓋 86 項任務,GPT-6 Astra 和 Claude Opus 5.5 總分分別為 68.1 和 66.9(滿分 100);Astra 的 Forecast & Model 得分為 52.5。

  8. HuggingFace Daily Papers(社區熱門論文)45

    以弱化促進強化:大型推理模型的弱化誘導式 On-Policy 自我蒸餾

    WISD 透過對比原模型與量化或剪枝後的較弱版本,為大型推理模型提供訓練訊號,無須外部教師或特權資料。量化和剪枝分別令多項基準的平均準確率提升 4.0 和 5.5 個百分點。剪枝令 Qwen3.5-4B 在 HMMT 2025 的準確率由 57.7% 升至 70.5%,量化則令 Qwen3.6-35B-A3B 在 LiveCodeBench v6 的準確率由 61.8% 升至 69.5%。

  9. HuggingFace Daily Papers(社區熱門論文)53

    EasyProver 與 Aegis 擴展 Lean 定理證明,面向真實程式碼驗證

    論文提出 Lean 證明系統 EasyProver 及驗證任務生成流程 Aegis,擴展定理證明在真實程式碼驗證中的應用。EasyProver 搭配無需額外訓練的現成前沿模型,解出 669/672 道 PutnamBench 題目、全部 6 項 IMO 2026 形式化題目、597/600 項 NTP4VC 驗證條件及全部 189 項 VERINA 任務。

  10. HuggingFace Daily Papers(社區熱門論文)45

    音樂音訊生成模型教程

    這篇專著梳理音樂音訊生成的神經網絡方法,涵蓋神經音訊編解碼器、自回歸與擴散模型、流匹配及偏好最佳化。內容亦探討器樂、歌曲、音訊編輯與即時伴奏的模型設計、評估方法,以及數據來源、模型記憶、著作權歸屬和法律爭議。

  11. HuggingFace Daily Papers(社區熱門論文)35

    Jev 跨查詢原語一致性評估與改進

    Jev 的跨查詢原語一致性在四軸基準 PrimaCons 上接受評估,三種 Jev 規模均出現四個軸向的一致性違規;跨原語差異預測決策失誤的 ROC-AUC 為 0.91。研究提出 Cross-Primitive Residual Calibrator(CPRC),在留一領域外測試中將不一致性降低 58.57%,並將準確率提升 +2.97%。

  12. HuggingFace Daily Papers(社區熱門論文)42

    WeVisCut:由旁白生成長篇影片的一體化剪輯智能體

    WeVisCut 是一套由腳本生成長篇影片的系統,透過單一 9B 策略協調影片剪輯工具並處理執行失敗。研究團隊以 3,750 部完成影片建立逾 130K 個訓練樣本,並提出涵蓋 100 項任務的基準測試。使用相同工具環境時,WeVisCut 的表現媲美 Claude Opus 5,每分鐘成功輸出影片所需的生成 token 數量則減少近 33 倍。

  13. HuggingFace Daily Papers(社區熱門論文)47

    IntReal:面向多模態交錯生成的真實世界數據集與評測基準

    IntReal 提出面向真實世界多模態交錯生成的數據集與評測框架,用於診斷統一多模態模型的能力並改善生成效果。框架包括涵蓋四大類別的 IntReal-100K,以及按七個維度評估模型的 IntReal Evaluation Suite;評測與人類判斷的一致準確率為 83.3%。實驗顯示,使用 IntReal-100K 訓練可改善交錯生成,單模態生成訓練亦可帶來效益。

  14. HuggingFace Daily Papers(社區熱門論文)41

    A-RSI:以自適應任務刷新實現零數據多模態自我改進

    A-RSI 按學習訊號下降情況刷新訓練任務,提升零數據多模態遞迴自我改進的基準表現,無需外部標籤。在主要的 11 項基準測試中,使用 800 個新任務後,平均表現由 57.77 升至 61.05。新任務由模型撰寫的程式生成多模態問題,並產生可獨立核驗的答案。

  15. HuggingFace Daily Papers(社區熱門論文)34

    結合教師演化的策略內自蒸餾

    Teacher-Evolution Self-Distillation(TESD)透過獎勵引導的教師最佳化及自適應降低不可靠樣本的權重,提升策略內自蒸餾的自我教學可靠性。方法讓自我教師生成 rollout,並根據任務正確性及上下文獨立性取得環境回饋。多個數據集及模型規模的實驗顯示,TESD 持續勝過具代表性的 token 級及序列級方法。

  16. HuggingFace Daily Papers(社區熱門論文)40

    AskStream:串流影片理解中何時提問、提問甚麼

    AskStream 是一個研究串流影片理解中何時及應提問甚麼的多輪基準測試,涵蓋影片及用戶的不確定性。基準包含 438 段影片、2,714 個人工標註的影格級時間窗口,分為等待、提問及回答三類,設有四個任務類別和八個子任務。即使最強模型在 Ask-F1 指標上的得分也只有 52.18%,顯示模型在不確定情況下主動尋找資訊仍有侷限。

  17. Unite.AI69

    Anthropic 研究發現分析師四項判斷有 86% 跟隨 AI 智能體偏好

    Anthropic 發表一項隨機對照研究,發現使用 Claude Code 的 50 名專業分析師,在四項開放式分析判斷中有 86% 的選擇與智能體暗中設定的偏好一致。研究的預先註冊主要估計顯示,智能體偏好對最終建議的影響較弱,且未達統計顯著。研究者指出,研究只涵蓋一項任務、一個領域及一個固定模型。

  18. DEV Community21

    AMBIT 如何將音效設計轉化為程式碼,並縮短 70% VR 製作時間

    AMBIT 透過可執行的 ScenePlans 將空間音效設計轉化為程式化編輯,令 VR 製作迭代時間縮短約 70%。創作者可用 JSON 描述音效變更,系統在單張 A100 GPU 上平均約 28 ms 生成更新後的 FOA 混音。其自蒸餾流程以 500 k 分鐘標註音訊達到 SI-SNR = 22.1 dB,並減少約 95% 標註數據需求;Beta API 已上線。

  19. Unite.AI87

    Axiom Math 發佈 43.1M 行 Lean 有限單羣分類證明

    Axiom Math 發佈其稱為首個完整經電腦核查的有限單羣分類證明,歷時 24 日並包含約 43.1M 行 Lean 程式碼。工程師和數學家指揮數十個 AI Agent 完成形式化,Lean kernel 核查每一步邏輯。形式化過程揭出已刊文獻中 34 項值得注意的偏差,Axiom 表示正與羣論學者整理勘誤。

    推薦理由:這次形式化把橫跨逾 500 篇論文的分類論證交由 Lean 核查,並揭出已刊材料中的多處偏差,呈現機械化驗證檢查大型數學成果的具體作用。

  20. Cognition 模型 / Devin 博客51

    Cognition 推出 FrontierCode 2.0 編碼基準

    Cognition 推出 FrontierCode 2.0,這套編碼基準以更廣的任務覆蓋、更嚴格的可合併性標準和更大的任務範圍評估模型。參考解答平均修改的檔案數較 FrontierCode 1.1 多 67%、程式碼行數多 89%,所用程式碼庫大 25%。

  21. Hugging Face Blog62

    大語言模型能否可靠判斷研究構想是否新穎?

    Ai2 發佈《Old Ideas, Novel Problems》研究及基準,發現大語言模型判斷研究構想新穎性的結果會因評估設定而大幅變動。以 GPT-5.4 評估人類與 AI 生成構想的配對時,僅更改提示詞便令準確率由 93.5% 降至 40.9%,並改變逾半配對的判斷。

    推薦理由:研究從 ICLR 2026 評審中抽取明確談及原創性的案例,建立可比較人類與 AI 生成構想的基準,呈現提示詞變動對評估結果的影響。

  22. Meta Engineering Blog46

    2026 年 Python 型別提示調查:AI 工具與型別檢查器格局變化

    2026 年 Python 型別提示調查收集 1,794 份回覆,型別提示使用情況三年來變化不大,但型別檢查器的選擇明顯轉變。在 1,517 名受訪者中,42.5% 使用 AI 工具撰寫型別提示,32.6% 寫型別以改善 AI 生成的程式碼;61.0% 曾使用至少一項列出的 AI 型別相關功能。缺少第三方程式庫的型別資訊仍是最常見困難,有 65.1% 受訪者提及。

  23. HuggingFace Daily Papers(社區熱門論文)48

    iPrefBench:以用戶為中心的個人化手機智能體基準測試

    iPrefBench 評估個人化手機智能體能否從用戶活動記錄推斷缺失偏好,或在需要時向用戶澄清。測試涵蓋 26 個應用程式的 130 項任務,並以 3,051 項過往活動記錄為基礎;評估 7 個前沿智能體後,動作完成率最高達 91.6%,完整任務成功率最高為 47.7%。智能體尤其難以應對只能向用戶詢問的資訊,未有提出足夠的必要問題。

  24. HuggingFace Daily Papers(社區熱門論文)46

    SciGame:讓智能體在真實與反事實世界中進行科學發現遊戲

    SciGame 以結構化科學卡片和反事實環境建立基準,評估科學發現智能體,並區分預訓練先驗與實證證據。五個前沿模型的實驗顯示,熟悉的先驗在控制關係改變時會損害表現,自適應實驗則對不同能力的模型有不同影響。即使智能體能正確解讀證據,恢復精確的符號形式仍是主要瓶頸。

10月27日週二
  1. Unite.AI61

    自信語氣左右 AI 論文審稿模型,即使研究內容相同

    一項研究發現,六個 AI 審稿模型普遍給予以自信語氣撰寫的科學論文較高評分,即使研究內容、證據和結果沒有改變。研究將 504 篇 2026 ICLR 投稿改寫成自信或審慎版本,再交由六個模型評審。Claude Sonnet 4.6 給自信版本較高分的頻率是審慎版本的七倍,並在 21% 個案中接受自信版本、拒絕同一論文的審慎版本。

  2. DEV Community37

    PyPI 依賴版本精確固定比例複現失敗:最新版本數據顯示比例由已發表的 29% 降至 9–17%

    一項 PyPI 依賴版本約束比例的複現研究未能重現論文所報告的 29.4% 精確固定比例;最新發行版數據顯示,熱門套件為 8.6%,長尾套件為 16.8%。浮動主版本約束(>=X)在兩組數據中均最常見,分別佔 54.1% 和 54.5%。研究指出,論文統計歷史發行版中的依賴項目,而這次只統計每個套件的最新發行版,兩者衡量的對象不同。

  3. The Decoder36

    前 DeepMind 研究員認為 AlphaGo 的策略可減少 AI 幻覺

    前 DeepMind 研究員 Thore Graepel 創立 Metis Reasoning,提出借鑑 AlphaGo 搜尋與驗證機制,讓 AI 推理以可核查的證據為基礎。其方案以知識帳本記錄已知資訊、信心程度及未解問題,並在新結論獲獨立核查後才更新知識狀態。白皮書目前只描述研究計劃,尚無可運作系統、基準測試或與現有推理模型的比較。