跳到正文
10月30日週五
  1. EleutherAI:Blog53

    EleutherAI 研究以 Reasoning Interpolation 偵測獎勵破解的早期訊號

    EleutherAI 研究以 reasoning interpolation 配合重要性抽樣,監測模型訓練期間獎勵破解的早期訊號。在其實驗設定中,重要性抽樣早期將破解機率低估 2–5 個數量級,但估算趨勢對預測最終會出現哪些破解類型達到 perfect AUC。研究使用 SFT 而非實際 RL 訓練,且預測設定較容易,作者指出仍需在實際 RL 訓練中驗證。

  2. Data Center Knowledge52

    邊緣 AI 或讓電信業者在 AI 基礎設施中佔一席之地

    邊緣 AI 或為電信業者帶來參與 AI 推理基礎設施的機會;部分工作負載可能因延遲、數據重力和成本而移至邊緣。文章將邊緣分為都會邊緣、遠端邊緣及終端等層級,並指出塔台或基站部署 GPU 面對電力、散熱和空間限制。IDC 研究顯示延遲只在部分情況下是關鍵,工作負載類型更能決定部署位置;AI-RAN 亦可改善網絡效能、降低成本和提升營運效率。

  3. 新浪科技44

    告別知識截止日:Google 讓 AI 學會「睡眠」,邊用邊學且不忘舊知識

    Google Research提出 Sleep Framework,讓大語言模型透過清醒與睡眠階段持續學習新資訊,並整合記憶以避免遺忘舊知識。實驗中,模型可處理最長約 1000 萬 token 的上下文,並在未見語言的多階段持續學習中保持接近零的性能下降。框架在 AIME 24/25 等數學基準上取得更高準確率。

  4. Unite.AI51

    &Truth 獲 $70M 種子輪融資,計劃打造通用程式碼驗證機

    軟件形式化驗證公司 &Truth 公佈獲得 $70M 種子輪融資,並計劃建造可讀取任何程式語言程式碼的通用驗證機。公司稱,該技術以 Lean、Mathlib 等開源工具為基礎,目標是透過可獨立檢查的數學證明驗證程式碼。公司表示,AI 可令形式化證明工作加速 100x 或以上,其自動化技術再加速 100x,將證明生成時間由數年或數月縮短至數小時或數分鐘。

  5. DoNews32

    谷歌提出「睡眠框架」解決大語言模型知識固化難題

    10月27日,谷歌研究團隊提出持續學習新方法「睡眠框架」,旨在解決大語言模型部署後知識難以更新及容易出現災難性遺忘的問題。框架模擬睡眠中的記憶鞏固機制,在「清醒」階段處理輸入並暫存短期記憶,在「睡眠」階段整合資訊、擴展參數、蒸餾知識,並以生成式「做夢」強化推理能力。實驗顯示,模型在1000萬token長上下文及多階段持續學習中保持性能穩定,數學推理等任務的準確率有所提升。

  6. IT之家45

    告別知識截止日:Google 讓 AI 學會「睡眠」,邊學邊保留舊知識

    Google 研究團隊提出持續學習研究「睡眠框架」(Sleep Framework),讓大語言模型吸收新資訊時保留舊知識。框架把模型運作分為清醒和睡眠階段,透過記憶整合及合成訓練樣本提升自我改進能力。實驗中,模型可處理最長約 1000 萬 token 的上下文,並在未見語言的多階段持續學習中保持接近零的表現下降;在 AIME 24/25 數學基準上的準確率亦高於多種基線方法。

  7. Unite.AI21

    DeepSeek 與 OpenAI:開源推理模型之爭

    DeepSeek 與 OpenAI 的推理模型競爭,體現在 DeepSeek R1 的開源、模組化設計,以及 OpenAI o1 的通用能力與規模。DeepSeek R1 在 AIME 2024、MATH-500 和 SWE-bench 分別取得 79.8%、97.3% 和 49.2%,略高於 OpenAI o1;在 MMLU 則以 90.8% 略低於 o1 的 91.8%。

  8. 新浪科技67

    SanDisk 稱客戶低估 AI 推理所需 NAND 容量,長期訂單延伸至 2030 年

    SanDisk 表示,AI 推理正在重塑 NAND 閃存供需,客戶普遍低估 AI 基礎設施所需的 NAND 容量,NBM 訂單已延伸至 2030 年甚至更遠。2027 財年約 50% 的位元出貨已由 NBM 協議鎖定,2028 財年預計升至約三分之二;首款 HBF 存儲晶粒已完成流片並進入製造階段,樣品計劃於下一個日曆年交付。

  9. IT之家69

    AI 推理帶動全球 NAND 需求,SanDisk 稱客戶低估容量需求、長期訂單排至 2030 年

    SanDisk 表示,AI 推理正重塑 NAND 快閃記憶體市場供需,客戶低估 AI 基礎設施所需容量,長期訂單已延伸至 2030 年及更遠。按儲存容量計,2027 財政年度約 50% 的 NAND 位元出貨量已由 NBM 協議鎖定,2028 財政年度預計約三分之二。首款高頻寬快閃記憶體(HBF)晶粒已完成流片並進入製造階段,首批樣品計劃於下一個曆年交付。

  10. Zyphra Research58

    Zyphra 發佈 ZAYA1-8B 推理模型

    Zyphra 發佈 ZAYA1-8B,一款活躍參數少於 10 億、在數學、編碼及複雜推理任務上可與大型模型競爭的 MoE 語言模型。ZAYA1-8B 完全使用 AMD 硬件預訓練,採用 1,024 張 MI300X GPU;Zyphra 同時推出 Markovian RSA,結合平行軌跡生成與固定長度上下文分塊,以維持固定記憶體成本並支援無上限推理。

  11. 新浪科技71

    OpenAI 稱 AI 模型反駁指數時間假設(ETH)

    OpenAI 稱其 AI 模型反駁指數時間假設(ETH),相關成果以 Lean 驗證,並提出可更有效率地找到滿足所有規則解法的方法。麻省理工學院電腦科學家 Ryan Williams 主導對成果的解讀、驗證及對外發布,並招募 ETH 提出者參與。團隊計劃製作完整可讀的證明,年底前舉行虛擬評審會議,並於 2027 年舉行線下會議;報道稱,反駁 ETH 是朝解決 P 與 NP 問題邁出的重要一步。

  12. HuggingFace Daily Papers(社區熱門論文)50

    DAMI:用於提升門控線性注意力長上下文檢索的雙軸記憶初始化

    DAMI 為 GDN、GDN2、KDA、Mamba-2 和 RWKV-7 提出雙軸記憶初始化方法,聯合設定控制衰減係數的 A_log 與 dt_bias 初始值。100M 參數、5B tokens 的預訓練實驗中,五種架構的 RULER 檢索準確率平均較隨機初始化高 5.29–16.71,整體能力基本不變。這種方法無需增加參數或更改運算子,也不影響推理。

  13. HuggingFace Daily Papers(社區熱門論文)44

    LARC:統一多模態模型的連續空間潛在推理

    LARC 為統一多模態模型引入連續空間潛在推理,改善圖像生成質素,並支援測試時擴展,避免離散 token 瓶頸。其訓練分兩階段:課程式監督微調,以及資訊增益強化學習;後者無需真值監督。LARC 在 GenEval 上取得最先進表現,較 BAGEL 提升 7%p,並在平行及循序測試時擴展策略下,展現優於基於 token 生成的表現。

  14. HuggingFace Daily Papers(社區熱門論文)37

    輔助獎勵如何幫助小型語言模型從經驗證的推理軌跡中自我改進並評估遷移能力

    研究比較信心指標 SC 與結合全局熵變化和局部平滑度的 UID-Conj.,評估輔助軌跡偏好對小型語言模型自我改進及遷移的作用。Qwen3-1.7B 在 30 道 AIME 題目上的在線實驗中,UID-Conj. 較未修改的 TTRL 在適應基準及三個遷移基準的宏平均高 2.08 個百分點;離線加權 SFT 中則較均勻加權高 1.93 個百分點。

  15. HuggingFace Daily Papers(社區熱門論文)50

    WMIP:受工作記憶啟發的大語言模型累積狀態追蹤探針

    WMIP 是一套以程式計算答案、用於測試大語言模型累積狀態追蹤能力的探針,涵蓋 3 至 100 次更新及不同查詢和輸出協議。18 個模型在單步算術的準確率為 84.9%,但在需處理三至七次更新的核心項目上只有 31.7%;更新達 50 次後,沒有模型的準確率超過 10%。加入書寫步驟並要求答案置於末行後,核心準確率升至 88.0%,研究亦公開生成器、測試項目、評分程式碼及模型回應。

  16. DEV Community76

    GPT-4o 退役日期、替代型號與遷移指南

    文章整理 GPT-4o 系列在 OpenAI API、Azure OpenAI 和 ChatGPT 的退役時程、替代型號及遷移檢查流程。

    推薦理由:文章把不同平台的退役日期與替代型號整理成遷移依據,並列出重複評測、影子測試及分階段流量切換的順序,提醒逐項驗證工具呼叫與結構化輸出。

  17. TNW70

    FuriosaAI 完成 $620m D 輪融資,估值達 $2.9bn

    FuriosaAI 完成 $620m D 輪融資,估值約 $2.9bn,南韓國家成長基金投資 $280m,成為最大投資者。其第二代晶片 RNGD 已於 1 月進入量產;公司稱已 확보記憶體及工廠產能,可於 2027 年生產超過 40,000 枚。融資將用於增加 RNGD 產量、改進軟件,並與 Broadcom 等合作夥伴開發採用 2nm、多晶粒設計及 HBM4 記憶體的第三代晶片。

  18. Amazon Science48

    加快語言模型在旅遊應用中的運行速度

    研究團隊與 Booking.com 結合知識蒸餾(KD)和 Medusa,優化旅遊服務使用的語言模型,以改善推理速度和成本效益。以 TinyLlama(1.1 billion parameters)作為學生模型、Llama-3.1(70 billion parameters)作為教師模型,最終模型達到教師模型的品質,速度提升 10 至 20 倍,成本低於三分之一。

  19. DEV Community20

    HexQ 核心架構的內化日誌

    作者記錄閲讀並內化 HexQ 核心架構的過程,內容包括零元引擎的認知閉環、19683 卦空間、九維金融決策引擎及 23 條守恆律。作者以億緯鋰能 120 根日線作實戰分析,因體與用相矛盾而判定為振盪模式,並提出把 HexQ 納入股票分析流程及實現後台自主呼吸。

10月29日週四
  1. DEV Community21

    LLM 的 NCM 架構:重新思考 AI 如何生成文字

    Next-Concept Modeling(NCM)探索不同於傳統 LLM 逐個預測下一個 token 的文字生成方式,改為由粗至細生成層級表示,並在每一層進行平行預測。文章探討 NCM 的核心架構、生成流程、潛在效能優勢,以及超越逐 token 生成方式所面對的挑戰。

  2. DEV Community51

    上下文學習如何透過單次前向傳播完成適應,而不更新任何權重

    上下文學習讓語言模型只靠提示詞中的示例,在不更新權重的情況下,透過一次前向傳播推斷任務並回答新查詢。文章以線性回歸説明注意力如何實現近似學習算法,並以貝葉斯推斷解釋預訓練形成的先驗。示例順序、標記噪音及提示詞長度都會影響表現,這種適應不會跨提示詞持續;文章建議把提示詞視為小型數據集,並測試不同變化。