跳到正文
11月5日週四
  1. DEV Community68

    本地運行 LLM 需要多少記憶體?

    文章提出本地運行 LLM 的記憶體估算法,將模型權重、KV cache 和額外開銷相加,再與可供模型使用的記憶體比較。在 16 GB Mac 上,可用記憶體按約 12 GB 計,14B Q4_K_M 約需 8.4 GB;Q5_K_M 約需 10.4 GB,屬勉強,Q6_K 的 12.3 GB 和 Q8_0 的 14.9 GB 則超出。

  2. DEV Community67

    vLLM 0.33.0 加入有損 FLy 推測解碼驗證器,單次準確率表不足以判定其安全性

    vLLM 0.33.0 收錄可選的 FLy 有損推測解碼驗證器;它不保留目標模型的輸出分佈,標準驗證仍是預設。PR 報告其相對標準推測解碼的吞吐提升為 1.041x 至 1.310x,但每個模型與平台組合只評測 428 題,單次結果不足以判斷小幅品質損失。按 6% 答案翻轉率及 80% 檢定力估算,以配對評測檢出 2 個百分點的準確率損失約需 1,175 題。

  3. 第一財經64

    百度開源 ERNIE 5.5 Flash Base 基座模型

    百度於11月5日正式開源基座模型 ERNIE 5.5 Flash Base。據介紹,該模型在知識、推理、數學、程式碼、多語言和長上下文等多項基準測試中,取得同尺寸模型 SOTA 表現。模型採用 MoE 架構,總參數量2800億,每個 Token 啟用140億參數,使用33.5萬億個 Token 完成預訓練;預訓練上下文長度最高達128K,微調與推理階段支援最長100萬 Token 上下文。

  4. O'Reilly Radar53

    自動模型路由如何贏得開發者信任

    Markus Eisele 認為,編碼助手的自動模型路由要取得開發者信任,既要在預算內提供更多協助,也要讓用戶判斷結果如何形成。他指出,評估路由不應只比較模型費用,還要計入重試、修正和開發者投入的時間,並考察工具及上下文是否足以完成任務。他建議介面呈現上下文、工具操作、測試範圍、未解問題、token 用量及成本,讓開發者追查助手做過甚麼並按需要介入。

  5. HuggingFace Daily Papers(社區熱門論文)34

    如何從可教前綴中學習:多語言推理蒸餾

    Teachable On-Policy Self-Distillation(TOPSD)透過偵測並限制教師漂移,改善多語言數學推理蒸餾,尤其針對低資源語言。TOPSD 根據師生似然選取監督前綴,並驗證教師能否從該前綴得出正確答案,只對通過驗證的前綴進行蒸餾。涵蓋十種語言和三種模型規模的實驗顯示,TOPSD 的表現持續優於傳統 OPSD,尤其在低、中資源語言上。

  6. 第一財經52

    騰訊稱 Hy4 調用量激增,WorkBuddy 已將推理集羣擴容十倍

    騰訊混元表示,混元 Hy4 於11月4日在 WorkBuddy 首發接入後,團隊因調用量激增,已將 Hy4 推理集羣緊急擴容十倍。團隊亦提高用戶免費體驗額度,並會持續動態調配資源。受高端算力總量和高峯並發集中所限,個別時段仍可能出現限額;用戶可改用 Hy3 等模型(WorkBuddy 對 Hy3 的免費使用安排延長至2026年11月15日23:59),或在晚間錯峯使用。

  7. DEV Community53

    NVIDIA L4 GPU 租用供應商比較:價格、可用性與計費差異

    文章比較不同 NVIDIA L4 GPU 租用供應商的價格與服務層級,指出按需價格約為每 GPU 小時 $0.11 至 $1.05。市場平台的價格較低,但供應情況可能波動;專業 GPU 雲通常按秒或按分鐘計費,大型雲端服務商則以較高價格提供可靠性及企業 SLA。比較報價時亦須確認是否已包含 CPU、RAM 和儲存空間。

  8. 新浪科技64

    百度文心發佈 ERNIE-5.5-Flash-Base 並開放權重,總參數 280B

    百度文心發布 ERNIE-5.5-Flash-Base,開放 ERNIE 5.5 Flash 預訓練終點權重。這款稀疏 MoE 語言模型總參數為 280B,每個 token 啟用 14B 參數,並在 33.5T tokens 上從零完成預訓練;最長訓練上下文為 128K,微調與推理支援 1M tokens 上下文。此次權重未經中期訓練與後訓練,可作為領域適配、指令微調和強化學習研究的起點。

  9. 新浪科技53

    對談千問蔣冠軍:Personal Agent 的技術架構如何搭建?

    千問事業部 AI 演算法負責人蔣冠軍在訪談中將 Personal Agent 的技術架構概括為模型、記憶和生態三個核心。千問按 30 多個行業梳理需求,拆分出 8000 多項模型原子能力要求,並透過後訓練和強化學習提升任務穩定性。訪談亦提及記憶召回、工具與 Skill 協同及上下文壓縮;千問相關任務的上下文規模在過去一段時間降低了約 40%。

  10. IT之家67

    百度文心開源 ERNIE-5.5-Flash-Base 基座模型,總參數量 280B

    百度文心大模型發佈並開放 ERNIE-5.5-Flash-Base 權重,這款稀疏 MoE 語言模型總參數量為 280B、每 token 激活 14B。模型以 33.5T tokens 從零預訓練,最長訓練上下文為 128K,微調與推理支援 1M tokens 上下文。這批權重未經中訓練與後訓練,可作領域適配、指令微調及強化學習研究的共同起點。

  11. LG AI Research:官方研究博客45

    【ICLR2026】超越靜態基準:ATAD 如何以智能體中心動態評估協議評估 LLM 推理能力

    LG AI Research提出 ATAD(Agent-Centric Text Anomaly Detection),以動態評估協議評估 LLM 推理能力,突破固定基準的限制。Teacher、Orchestrator 和 Student 三個智能體會反覆生成、驗證和解答問題,並按模型表現調整題目難度,同時維持清晰度與公平性。相關研究獲 ICLR 2026 主會議接收並發表。

  12. 雷鋒網44

    上海交大鄧志傑解析擴散語言模型如何兼顧速度與生成質量

    上海交通大學副教授鄧志傑解析擴散語言模型如何在保證生成質量的同時提升速度,涵蓋 LLaDA、Dream、多塊並行生成、後訓練及推理系統優化。LLaDA2.1-mini 經 CForce 訓練後,四項任務平均得分由 85.57 提升至 86.41,平均 TPF 由 6.94 提升至 9.08。演講亦介紹擴散語言模型在流式影片、語音修復、多模態及智能體中的應用探索。

  13. Hacker News:AI 熱帖24

    不要把這類模型稱為決策模型

    文章質疑把這類模型稱為「決策模型」,討論中有人認為「判斷模型」較貼切。評論指出,這類模型可用於 zero-shot 分類,但模型輸出並非確定性邏輯閘;若要作出良好乃至可證明最優的決策,應研究數學最佳化或運籌學。

  14. 創業邦58

    易博圖完成兩輪近4億元融資,研發重載工業物理AI模型

    易博圖近日連續完成兩輪近4億元融資,聚焦重載工業物理AI,研發面向重載場景的「移動+操作」模型。公司目前營運100多台重卡,覆蓋60條線路,並在新疆、內蒙古等地進行真實道路零接管測試。易博圖計劃先以自營車隊驗證L4無人駕駛方案及營運流程,再向客戶提供包括車輛、軟件系統及營運標準的「AI司機服務」。

  15. 阿里雲開發者社區 AI44

    頁面一改,腳本全崩?決策模型或為 UI 自動化帶來新方向

    11 月 4 日的公開課講解以決策模型改善 UI 自動化,透過結構化輸出和校準置信度,處理元素選擇、動作及斷言等有限決策。課程展示 YAML 驅動 App 登入流程;候選元素擴至所有可點擊元素後,模型仍以 94% 機率選中正確按鈕。文中亦提及基於 Qwen3.5 微調的開源 4B 模型可本地部署。

  16. 新浪科技42

    上海交大鄧志傑:擴散語言模型如何兼顧速度與質量

    上海交通大學副教授鄧志傑在CNCC 2026演講中,探討如何透過並行生成、後訓練及推理系統優化,提升擴散語言模型的生成速度並維持質量。LLaDA2.1-mini經CForce訓練後,四項任務平均得分由85.57升至86.41,平均TPF由6.94升至9.08。Fast-dLLM結合近似KV緩存與置信度解碼後,速度由6.7升至54.4 TPS,準確率則由79.3%變為78.5%。

  17. 新浪科技64

    NVIDIA 發佈 CUDA Toolkit 13.5,正式支援 Vera Rubin 並升級多 GPU 通訊

    NVIDIA 發佈 CUDA Toolkit 13.5,正式支援 Vera Rubin,並更新 GPU 資源調度、多 GPU 通訊、數學計算庫及效能分析工具。CUDA Tile 支援在計算內核內存取其他 GPU 記憶體;配合多播指標及專用多 GPU 記憶體操作,可在支援 NVLink SHARP 的 NVSwitch 網絡中進行跨 GPU 數據歸約和寫入。

  18. IT之家63

    英偉達發佈 CUDA Toolkit 13.5,正式支援 Vera Rubin 並升級多 GPU 通訊

    英偉達發佈 CUDA Toolkit 13.5,正式支援下一代 AI 運算平台 Vera Rubin,並升級 GPU 資源排程、多 GPU 通訊、數學計算庫及效能分析工具。更新包括 MPS v3 的加權時間片和 SM 分區負載平衡;CUDA Tile 可在計算內核中直接存取其他 GPU 記憶體,並在支援 NVLink SHARP 的 NVSwitch 網絡中執行跨 GPU 歸約和寫入。

  19. DoNews66

    AMD 有望單季營收史上首次超越英特爾

    AMD 預估 2026 財年第四財季營收約 170 億美元,高於英特爾預估的 150~160 億美元,若預期兑現將是 AMD 單季營收首次超越英特爾。AMD 預測該季營收按年約增長 66%、按季約增長 27%;數據中心業務佔比已達 64%,EPYC 伺服器處理器與 Instinct AI 加速器需求按年增長接近一倍。AMD 預計到 2027 年,客戶端和遊戲業務可能面臨兩位數下滑。