跳到正文
11月2日週一
  1. HuggingFace Daily Papers(社區熱門論文)48

    DeepSeek Sparse Attention 的 Multi-layer Indexer:重疊 token 選擇與注意力

    Multi-layer Indexer(MLI)重用相鄰層選取的 token,讓索引器掃描與注意力運算重疊,提升長上下文解碼吞吐量,且無需重新訓練或新增權重。MLI 結合 IndexCache 後,在相同保留率下,DeepSeek-V3.2 解碼速度最高提升 14.5%,GLM-5 最高提升 9.8%;在 128K 上下文、保留率 1/4 時,吞吐量達原模型的 1.32x。

  2. HuggingFace Daily Papers(社區熱門論文)41

    EvoMemState:為個人智能體演進記憶狀態

    EvoMemState 提出面向個人智能體的狀態式記憶框架,透過關係狀態追蹤事實的有效性、適用範圍及彼此關係,並以推理狀態決定如何將記憶用於當前請求。框架結合本體引導的記憶狀態構建、基於強化學習的狀態演進,以及狀態感知推理。長期對話及記憶使用基準測試顯示,EvoMemState 在檢索完整度和以記憶為依據的回應準確度方面,持續優於現有記憶系統。

  3. HuggingFace Daily Papers(社區熱門論文)47

    SpecOPD:用於推測解碼的分支並行在策略蒸餾

    SpecOPD 是一種分支並行的在策略蒸餾框架,透過平行處理獨立分支的草稿取樣與目標模型監督,加速推測解碼訓練。在不同模型架構及任務中,其平均接受長度最高提升 41.45%;原生設定下,監督 token 吞吐量是序列 rollout OPD 的 16.09 倍,生成速度則最高達自回歸解碼的 3.56 倍。

  4. HuggingFace Daily Papers(社區熱門論文)42

    SD-ViT 如何以隨機深度監督實現與人臉庫一致的提前退出人臉識別

    SD-ViT 透過隨機深度監督,讓 Vision Transformer 的每個區塊深度都能產生具辨識力的人臉嵌入,支援提前退出識別而無須重新計算人臉庫。基準測試中,SD-ViT 與相同骨幹網絡的全深度常規訓練結果相差不超過 0.4 IJB-C 分;以 50% 計算成本運行時,提前退出探測可達自身全深度表現的 96% 以上。從四分之一深度起,沿用全深度校準的單一驗證閾值仍然有效。

  5. HuggingFace Daily Papers(社區熱門論文)49

    為何要為長鏈式推理付費?ShortReasoning 探討推理歷史壓縮對後續生成與 Agent 成本的因果影響

    ShortReasoning 顯示,將模型先前的推理改寫成精簡狀態,可在不重新訓練下縮短後續生成的推理。在編碼 Agent 案例中,MiniMax M3 使用外部壓縮後,成本降低 34%,模型請求總耗時(包括改寫開銷)減少 59%。六種測試路徑中,獲採用的精簡歷史均令後續生成的中位數縮短。

  6. HuggingFace Daily Papers(社區熱門論文)48

    SIMPLE 定律:LLM 推理的能耗成本

    研究提出 SIMPLE 推理模型,以四個參數預測不同架構 LLM 的推理能耗,並分開計算預填充與解碼成本。模型在 NVIDIA H100 GPU 上評估 13 款密集型 LLM,達到 R2 = 0.969、11.97% MAPE,表現較 SOTA 模型高 3.1-3.5x,且毋須逐個 LLM 校準。

  7. HuggingFace Daily Papers(社區熱門論文)48

    SpecPilot:自動探索算法與系統優化,提升推測解碼速度

    SpecPilot 透過自主智能體流程,為不同部署探索算法與系統優化,在不訓練且不損失品質的情況下提升推測解碼速度。它在單請求情境下把相對於自回歸解碼的加速倍數由 stock 的 4.46 倍提高至 10.87 倍;批次處理時則由 1.94 倍提高至 3.93 倍。評估涵蓋四個目標模型、三個 drafter、兩種 GPU 平台及五個 benchmark。

  8. HuggingFace Daily Papers(社區熱門論文)61

    Axion 1.0:簡化訓練流程的開放式智能體基礎模型

    Axion 1.0 是一款採用簡潔三階段訓練流程的開放式智能體基礎模型,在多項智能體基準測試中表現強勁,並在其中數項與領先商業模型具競爭力。訓練流程由兩個輕量監督式微調階段及其後的強化學習組成,沒有專門的中期訓練、DPO 或 OPD。除模型權重外,團隊亦公開完整方案,包括數據構建、生成、篩選、驗證、提示詞及訓練程式碼。

11月1日週日
  1. DEV Community66

    作者測試 VOLTA 報告所述拒答檢測字串,兩句短語在 24 條合成回覆中的召回率為 50%

    DEV Community 作者 frank chu 以 24 條自寫合成回覆測試 Cisco Talos 報告所述 VOLTA 拒答檢測字串,12 條拒答中只識別 6 條,召回率為 50%。測試的精確率為 60%、準確率為 58.3%,另有 6 次漏判和 4 次誤判。由於 Talos 稱檢測器會比對類似短語,這些結果只適用於報告引述的兩句字串,不能代表 VOLTA 樣本的完整檢測清單。

  2. Hacker News 熱門(buzzing.cc 中文翻譯)56

    Sam Altman 認為個人電腦閒置 DRAM 浪費有限供應

    OpenAI 行政總裁 Sam Altman 在訪談中稱,全球 DRAM 供應緊張時,將記憶體放在個人電腦供本地推理、但只使用 5% 的時間,不如集中到資料中心提高利用率。他認為,許多人希望在本機進行推理,會令有限 DRAM 閒置在個人電腦中。文中亦稱 OpenAI 可購入全球 DRAM 產量的 40%,並正設計名為 Jalapeno、由 AI 為 AI 設計的自訂處理器。

  3. DEV Community45

    攤銷推理:為何訓練網絡推理勝過每次執行最佳化

    攤銷推理以一個訓練完成的神經網絡,直接將新觀測映射至近似後驗,取代對每個數據點分別執行最佳化,令推理只需一次前向傳播。這種方法適合需要反覆或即時推理的情況,但以速度換取靈活性,並會引入近似差距和攤銷差距。若攤銷差距較大,可採用半攤銷推理,在網絡輸出後作少量逐點微調。

  4. 第一財經53

    專訪沃爾夫數學獎、頂科獎得主多貝西:AI不會終結數學,但數學教育需要改革

    杜克大學教授英格麗·多貝西認為,AI不會終結數學,但數學教育需要改變。她指出,AI模型能高效檢索、利用和整合已知成果,但要取得更多進展,仍需要數學家提出新想法。她亦主張重新檢視數學教學和學生評估方式,並更重視教師及其對學生的價值。

  5. DEV Community55

    KV Cache 減半,容量倍增並帶來 1% 速度提升

    將 KV cache 從 BF16 降至 FP8,在相同顯存下可令可容納序列數恰好倍增;吞吐量增幅則取決於快取讀取量相對權重讀取量的比例。例如,Qwen3-32B 在 H100 上使用 128k context 時,可容納序列數由 0.59 升至 1.18,吞吐量提升 21%。Llama-3.3-70B 在 80 GiB H100 上連權重都無法放入,改用 FP8 KV 也無法解決。

  6. 新浪科技64

    工信部賽迪研究院報告:中國人工智能推理數據量首超訓練數據量,截至 2026 年 6 月日均 token 調用量超 175 萬億

    賽迪研究院發布的《新域新質創新發展十大趨勢》指出,中國人工智能推理數據量首次超過訓練數據量,並將此視為人工智能進入規模化產業應用階段的標誌。截至 2026 年 6 月,日均 token 調用量超過 175 萬億,較 2024 年初增長 1000 多倍;頂尖大模型迭代週期由數月縮短至數週甚至數天。

  7. IT之家64

    賽迪研究院報告:中國人工智能推理數據量首次超過訓練數據量,2026年6月日均 token 調用量逾175萬億

    賽迪研究院發布的《新域新質創新發展十大趨勢》顯示,中國人工智能推理數據量首次超過訓練數據量。截至2026年6月,日均 token 調用量超過175萬億,較2024年年初增長1000多倍;頂尖大模型迭代週期已由數月縮短至幾週甚至幾天。中國已累計建成500多家卓越級智能工廠,國產算力和大模型在20個行業落地1000多個應用場景。

  8. HuggingFace Daily Papers(社區熱門論文)40

    TAC-CoT:透過交錯明確 token 實現工具賦能的隱式思維鏈

    TAC-CoT 是一種工具賦能的自適應隱式 CoT 框架,以精簡的潛在推理片段取代明確推理軌跡,並只在工具呼叫、觀察及最終答案中保留文字 tokens。在智能體數學及問答基準測試中,準確率最高提升 8.8 points,模型 forward passes 最多減少 6.8x。分析亦顯示,TAC-CoT 在單工具及多工具設定中均改善工具使用質素。

  9. 新浪科技72

    閃迪稱 AI 推理改變 NAND 供需,長期訂單延伸至 2030 年

    閃迪表示,AI 推理正改變 NAND 閃存市場供需,客戶追加長期訂單,新型商業模式(NBM)訂單管道已延伸至 2030 年甚至更遠。2027 財年約 50% 的位元出貨量已由 NBM 協議鎖定,2028 財年預計升至約三分之二;公司預計 2027 年數據中心需求同比增長約 40%,佔相關市場超過 55%。

  10. DEV Community73

    Context Rot:如何測試應用程式的長上下文退化並精簡模型讀取內容

    作者介紹三種檢查長上下文是否影響應用程式回答表現的方法,並提出精簡模型輸入的做法。測試包括記錄每次呼叫的輸入 token、在不同長度和位置進行 needle test,以及比較只提供相關訊息與完整對話的評估結果。精簡方法包括用檢索代替貼入全部資料、清除過時工具結果,以及用可更新的備註區塊保存關鍵事實。

  11. DEV Community40

    脈衝與 Attention:神經形態晶片在哪些場景真正節能

    神經形態晶片在輸入稀疏、事件少的邊緣感測工作負載中,能以按活動量計算的方式節能;面對密集語言推理則不具優勢。正文指出,在安靜場景下,事件驅動晶片的能耗可比密集模型低一個數量級,並可在微秒內回應事件。相關晶片適合常開感測,但資料中心的密集工作負載仍由成熟的 GPU 堆疊佔優。

  12. IT之家65

    Intel因AI需求將部分CPU產能轉向數據中心處理器

    Intel正把部分客戶端CPU產能轉向數據中心CPU,並擴大愛爾蘭與美國的相關製造部署,以應對消費級PC市場萎縮及AI需求上升。其數據中心與人工智能(DCAI)業務在2026年第三季度收入為73億美元,按季增長17%、按年增長近80%;Intel預期,CPU密集型智能體及推理工作負載將帶動2027至2028年的數據中心CPU需求保持強勁。

  13. HuggingFace Daily Papers(社區熱門論文)42

    解耦式預測決策:面向智能體的共享條件預測器

    DPDM 結合凍結的語言模型表示與共享的預訓練條件預測器,讓智能體從部署證據中作出預測,而無須更新模型參數。採用 Qwen3.5-27B 作語義編碼器時,DPDM 在 50 項基準測試的平均準確率為 84.92%,高於少樣本提示的 78.80%;使用相同歷史資料和查詢時,準確率為 82.33%。單一凍結的 LimiX-2 預測器涵蓋五類任務,準確率亦隨歷史資料增加而提升。

  14. HuggingFace Daily Papers(社區熱門論文)47

    FinForesight:金融預測深度研究系統的診斷式回測基準

    FinForesight 是一項診斷式回測基準,用於評估金融深度研究系統的預測能力,並比較歷史、截點後及即時表現。基準涵蓋中國、美國及香港市場的四項預測任務,並將反事實推理和金融計算作為獨立診斷任務評分。研究發現,預訓練時期的分數在大多數時間比較中高於截點後分數;程式碼及基準數據已公開。