跳到正文
10月20日週二
  1. HuggingFace Daily Papers(社區熱門論文)41

    Ask-to-Distill:學習為在策略知識蒸餾合成數據

    Ask-to-Distill 透過優化合成問題,提升在策略知識蒸餾中的教師與學生分佈監督效果,過程無需正確答案。此方法在數學推理、程式碼生成及智能體任務中,平均表現和教師差距恢復均優於未優化的學生生成提示詞及經 KL 篩選的真實問題,在評估設定中與真實問題集蒸餾持平或更佳。程式碼、數據及模型均已公開。

  2. HuggingFace Daily Papers(社區熱門論文)31

    WORTH Benchmark:非完全合作資訊下的證據發現——兩集試點研究

    WORTH Benchmark 評估模型在懸疑故事中自主發現證據及推理的能力,兩集試點顯示線索選取與人物判斷並不同步。Episode 02 的 37 次可評分測試中,31 次選出相同的一組錯誤人物;疑點句與洗脱嫌疑句分別被選取 25 次和 0 次。研究僅涵蓋兩集,未建立穩定的模型排名,也未報告人類與模型的比較。

  3. HuggingFace Daily Papers(社區熱門論文)47

    ProVe:提議者-驗證者解碼

    ProVe 透過微調大型模型,使其一次預測一批未來 token,再以額外一次前向傳播驗證,反轉 speculative decoding 的提議與驗證角色。使用 32B 提議模型時,ProVe-lossless 在六項 benchmark 的平均自回歸生成吞吐量達 2.5 倍,無須訓練獨立 draft head。

  4. HuggingFace Daily Papers(社區熱門論文)51

    擴散語言模型智能體之間的隱藏訊息:潛在溝通的因果證據

    研究指出,擴散語言模型智能體可透過壓縮的連續隱藏訊息影響另一智能體的推理,且傳遞時機有時比反覆交換更重要。QASC 任務中,兩項支持事實分由兩個智能體掌握時,匹配訊息使準確率達 80.8%,錯誤樣本訊息則降至 46.8%,相差 34.0 個百分點。一次較晚傳遞達 87.8%,比四次循環交換高 7.0 個百分點。

  5. elsewhere:文章37

    央視《對話》| 曦望要做AI產業“損益優化師” | 心星 PORTFOLIO

    曦望聯席 CEO 王湛表示,公司將專注推理算力,致力於降低單位 Token 成本,並以“用得起、用得穩、跑得快”為技術創新出發點。曦望稱,啓望 S3 相比上一代 S2 推理性能提升約 5 倍,單位 Token 推理成本下降約 90%。曦望還推出 256 卡超節點,通過高速互聯架構實現 256 張卡一級互聯。

  6. Hacker News 熱門(buzzing.cc 中文翻譯)76

    Mercury 3 發佈,擴散式 LLM 推理速度達每秒 1,000+ tokens

    Mercury 3 正式推出;InceptionLabs 稱它在多項基準中勝過 GPT-6 Luna 和 Claude Haiku 5.5,並以 4–8x 更快的速度達每秒 1,000+ tokens。

    推薦理由:材料列出速度、上下文窗口和價格,並提供 Mercury 3 在 50 項 Mind2Web 導航任務中的結果,便於對照模型指標與部署案例。

  7. Inception Labs:Blog39

    Mercury 2 Named to TIME's Best Inventions of 2026

    Mercury 2 入選 TIME 2026 年最佳發明的人工智能類別,是以擴散模型為基礎、具推理能力的 LLM。它每秒生成超過 1,000 個 tokens,速度較領先的速度優化 LLM 快逾 5 倍,並可在普遍可用的 NVIDIA GPU 上運行。公司其後推出 Mercury 2.5、Mercury Voice、Mercury Router 和 Mercury Decide。

  8. 螞蟻 inclusionAI:HuggingFace 新模型45

    inclusionAI/Ling-3.0-flash-Sante 醫療模型介紹

    inclusionAI推出醫療專用研究模型 Ling-3.0-flash-Sante,基於 Ling-3.0-flash,總參數量為 124B,每個 token 啟用 5.1B 參數。模型訓練上下文長度達 256K tokens,支援醫療推理、深度研究及工具輔助工作流程,權重可在 Hugging Face 和 ModelScope 取得。它不是醫療器械,不能取代專業醫療建議、診斷或治療。

10月19日週一
  1. DEV Community49

    隱藏 AI 智能體的推理過程,會失去除錯線索

    AI 智能體隱藏推理過程可降低 tokens 開支和延遲,但會失去查明異常決策原因所需的可讀除錯紀錄。推理可見度應按步驟設定:查詢路由可關閉説明,退款審批及面向客戶的回覆則保留理由。團隊可按一週實際流量比較説明開啟與關閉時的 tokens 開支。

  2. 第一財經63

    MiniMax 正式發布新一代 Flash 模型 M3.1 Flash

    MiniMax 正式發布新一代 Flash 模型 M3.1 Flash,稱其在智能體任務、編程、Computer Use 及網絡安全能力上實現代際提升。此前以匿名身份處理超過 200T Token 的 Space Bunny,是 M3.1 Flash 的早期版本。M3.1 Flash 線上推理速度提升近 3 倍,使用成本降低 70%。

  3. elsewhere:文章33

    打開“生命黑箱”,我們需要看見什麼?| 峯瑞報告

    AI可結合實驗數據與生物學或物理化學約束,重建、模擬和預測生命系統尚未被觀測的中間過程,讓藥物研發由觀察靜態結構延伸至推演動態變化。文章以環肽、虛擬細胞及分子膠説明這條路徑;百曜科技的 CellOS 以 3.905 億個人類單細胞轉錄組數據訓練,參數規模達 120 億,採用 LLM-JEPA 架構。

  4. DEV Community51

    生成式 AI 與 LLM 面試題:30 題附示範答案

    Haseeb Sagheer整理了 30 道生成式 AI 與 LLM 面試題,並為每題提供可按個人項目調整的簡短示範答案。題目涵蓋 Transformer、預訓練與微調、提示詞及推理設定,以及正式環境中的安全、成本和評估。文中建議以實際項目例子説明答案,並建議尚未有 GenAI 項目的人製作 RAG 應用,練習嵌入向量、向量搜尋、提示詞及幻覺控制等概念。

  5. 創業邦65

    Token 出海正成為一門新生意,潤建股份簽下 2 億美元跨境 AI 服務合約

    潤建股份簽下為期一年的 2 億美元跨境 AI 服務合約,境外客戶透過 API 調用大模型推理服務,算力資源部署在中國境內。合約設有最低採購保底條款,若年度實際消耗不足 2 億美元,客戶須按約定補足差額;合約金額約相當於公司 2026 年上半年營業收入的 35.6%,但不等同已確認收入或利潤。潤建股份算力網絡業務同期毛利率為 6.97%;文章指出,訂單價值仍取決於履約、算力成本、設備折舊與客戶回款。

  6. DEV Community52

    架構檢視:為免費方案推理端點設定準入界限,避免重試風暴

    Robin提出一套免費方案推理端點的准入控制方法,按實測服務率和請求期限限制併發及重試,以避免盲目重試令共享端點超載。方法包括掃描不同併發量下的狀態碼及延遲、按 Little's law 設定預算,並分別處理 429、逾時、5xx 和截斷串流。作者提供重試下限和故障注入測試,並披露文章是 MonkeyCode 產品推廣項目內容;他指出共享免費方案不能保證硬性 p99 SLO。

  7. 創業邦61

    賣 Token,這門新生意並不好賺

    Token需求快速增長之際,雲平台、獨立推理服務商和傳統算力企業均在拓展相關業務,但調用量增長不保證盈利。國家數據局數據顯示,日均 Token 調用量由2024年初約1000億增至2025年底100萬億,並於2026年3月突破140萬億。硅基流動2025年收入增長653.2%,毛利率卻降至-24%;九章雲極同期逾九成收入仍來自智算基礎設施方案,價格競爭、算力成本與利用率是盈利關鍵。