DecisionRank:面向決策模型重排器的 on-policy 蒸餾
DecisionRank 以 item-space on-policy 蒸餾,把生成式教師模型的排序知識轉移至決策模型,在檢索基準上達到最先進表現,推理速度亦顯著提升。1.7B 參數的 DecisionRank 在 TREC DL19–23 超越 27B 生成式教師模型;8B 版本在 TREC DL 上快 24.5 倍,在 BRIGHT 上快 16.7 倍。
DecisionRank 以 item-space on-policy 蒸餾,把生成式教師模型的排序知識轉移至決策模型,在檢索基準上達到最先進表現,推理速度亦顯著提升。1.7B 參數的 DecisionRank 在 TREC DL19–23 超越 27B 生成式教師模型;8B 版本在 TREC DL 上快 24.5 倍,在 BRIGHT 上快 16.7 倍。
Muon-RT 重用教師與學生的位移,免除隱藏權重矩陣的獨立動量緩衝區。在 Qwen2.5-7B-Instruct 的 SDFT 中,其平均準確率較 AdamW 高 2.6 點、持久記憶體用量少 42%;較 momentum Muon 高 5.4 點、記憶體用量少 27%。在 Olmo-3-7B-Instruct 的 SDPO 中,平均準確率較 AdamW 高 2.0 點。
研究比較信心指標 SC 與結合全局熵變化和局部平滑度的 UID-Conj.,評估輔助軌跡偏好對小型語言模型自我改進及遷移的作用。Qwen3-1.7B 在 30 道 AIME 題目上的在線實驗中,UID-Conj. 較未修改的 TTRL 在適應基準及三個遷移基準的宏平均高 2.08 個百分點;離線加權 SFT 中則較均勻加權高 1.93 個百分點。
BYOD研究展示將 Gemma 2 9B、Llama 3.1 8B、Qwen2.5 7B 和 Ministral 8B 轉為雙向遮罩擴散語言模型的方法。
文章比較 Regex、機器學習模型及 LLM 偵測個人資料的做法,指出效果取決於資料形式、上下文,以及模型是否接觸過相近領域的標註樣本。校驗碼規則適用於固定格式識別碼,但仍會誤報,也無法處理姓名和自由文本地址;模型表現則受資料集和評分方式影響。CV benchmark 中,最佳方案的召回率達 0.97,仍有 40 份履歷中的 10 份洩漏個人資料;文章建議以相近資料的標註樣本評估偵測器。
Prime Intellect 發佈 Prime Mega MoE,為 DeepSeek 的 Mega MoE kernel 加入融合且重疊執行的反向計算,使其可用於訓練,而非只用於推理。
巴西《一般個人資料保護法》(LGPD)將健康、基因及其他特定個人資料列為敏感資料,要求處理者具備第 11 條所列的法律依據,並採取與風險相稱的安全措施。用於訓練 AI 模型的資料須經不可逆匿名化;假名化或遮蔽資料仍受 LGPD 規管。醫療從業者及機構亦須遵守 CFM 第 2.288/2021 號決議,違規可能引致行政制裁或紀律程序。
AI 系統即使沒有修改程式碼,也可能因數據分佈或輸入與正確答案之間的關係改變而逐漸失準,分別稱為數據漂移和概念漂移。企業可用 PSI 或 Kullback-Leibler divergence 持續比較生產數據與基準,並建立模型清單,記錄訓練數據版本、量化設定、授權責任及業務負責人。安排重新訓練和退役流程,有助避免過時模型及未維護的整合累積成技術債。
Cartesia 研究團隊分享改良版 H-Nets 的規模測試,結果顯示模型可在模型內動態分塊,並在語言建模中提升計算效率。受控的單階段 H-Net 比較中,BPE Transformer 需 1.28× 計算量才能達到相同驗證損失;在 Paloma 和 OLMES 評測中,所需計算量分別是 H-Net 的 1.83× 和 2.06×。
AWS Batch 的 quota management 為 SageMaker Training jobs 提供按團隊、項目或工作負載劃分配額及分享閒置運算資源的排程方式。
耶路撒冷希伯來大學及合作機構開發 BBERT,能識別短至 100 個鹼基的細菌 DNA 片段。基準測試中,BBERT 分辨細菌與非細菌 DNA 的準確率約為 90%,識別蛋白質編碼片段及其讀取框的準確率分別約為 88% 和 96%。團隊將工具應用於 1,969 個土壤 DNA 數據集;模擬混合樣本中,平均組裝時間由約 66 小時降至 25 小時。
研究發現,REPA 等擴散 Transformer 加速方法會重組 AdaLN-Zero 殘差閘 α,而較廣泛的閘參與度與較佳生成品質相關。研究提出無需教師模型的徑向目標,透過特徵範數正則化促進廣泛參與;在 ImageNet 256times256 的 SiT-B/2 實驗中,該方法的 FID 優於 dispersive loss。
Hugging Face 宣佈 Project ProtoStar,聯合大學、研究機構、業界和開放科研社羣,推動公開資助科研資源以 AI 就緒格式釋出及重用。
Anthropic 的 S-1 列出龐大長期算力承諾,文章指出公司須持續高速增長才能承擔成本並維持盈利。公司 2026 年上半年營收較 2025 年上半年增長 14 倍,達 $16.3 billion;作者估算未來 20 年的算力承諾至少約 $850 billion,若計入尚未敲定的交易則約 $1 trillion。
Feature Store 是集中計算、儲存及供應機器學習特徵的系統,以同一特徵定義支援訓練與線上推理,主要處理訓練與服務偏差及跨團隊重用問題。文章建議先判斷是否有偏差、低延遲服務需求或重複建立特徵的情況,並評估團隊能否維運常駐基建。若只有少量模型或單一團隊,可先用共享轉換層、特徵目錄及同一資料來源,減少額外運維成本。
Anthropic 收緊防護後,報道指中國 AI 實驗室主要轉向利用 OpenAI 的 GPT-6 Astra 輸出訓練模型。知情人士稱,相關模型包括 Kimi K3.1 Pro 和 V4.1-Flash 1017;這類知識蒸餾需要模型揭露隱藏推理步驟,而 OpenAI 和 Anthropic 均禁止此做法。
研究者在 SmolLM-135M 上基準測試 WS-NSC,發現它能將遺忘控制在接近零,但要付出明顯的下游可塑性代價。當 ρ=0.90,遺忘率為 -0.390%,下游任務只保留醒置階段所獲增益的 37.7%。當 ρ=0.95,保留的增益進一步降至 24.4%。
王騰公佈今日宜休的發展策略,聚焦精準監測、科學幹預與精力恢復,並計劃一年內採集超 1000 例金標準臨牀 PSG 數據。今日宜休將睡眠科學、AI 算法與軟硬件產品研發協同,構建面向個人的睡眠健康 AI 技術體系 ISHO Intelligence。睡眠科研範疇正由夜間睡眠質素延伸至日間精力狀態等醒後場景。
今日宜休創始人王騰公佈公司戰略,計劃以睡眠科學、AI 算法及軟硬件產品研發協同,構建面向個人的睡眠健康 AI 技術體系 ISHO Intelligence。公司聚焦精準監測、科學幹預與精力恢復,計劃一年內採集超 1000 例金標準臨牀 PSG 數據;睡眠產品科研亦由夜間睡眠質量延伸至醒後的日間精力狀態。
Russell Yapp 的 Betfair Exchange 下注機械人六個月內完成 6,314 次下注,投注 £16,792,淨收益 £205(+1.2%),他於 10 月 29 日停止實盤。
Charles Humble 主張將可持續性納入計算工作負載的頂層架構考量,並以較小或預訓練模型、低碳地區運算及需求轉移降低 AI 的環境影響。他指出,IT 約佔全球排放量 2–4%,而模型部署及維護可能消耗大部分能源。他亦稱,理論上全程使用可再生能源訓練,可減少 45% 至 99% 的碳排;需求塑形則可按電力碳強度調整工作量或服務品質。
消息來源稱,深度求索(DeepSeek)與月之暗面(Moonshot AI)訓練模型時,大量依賴 GPT-6 Astra 蒸餾。相關模型包括 Kimi K3.1 Pro 和 V4.1-Flash 1017;消息指此事發生在 Anthropic 採取打擊行動後。
MuonGS 在 400M dense 和 1B 參數 MoE 架構上,達到相同驗證困惑度的速度比 MuonH 快 15%。它透過 Gram-Schmidt 投影控制權重範數增長,並以原位張量運算執行,無需額外配置 VRAM。此方法適用於具平滑尺度不變性的層;token embeddings 和語言模型輸出頭仍需其他調度器或 AdamW 分支。
《The Information》引述知情人士報道,DeepSeek 與 Moonshot AI 曾大量使用 OpenAI 的 GPT-6 Astra 訓練各自的新模型,TNW 表示未能獨立核實這項報道。
MaxCompute 透過 DLF 元數據管理、外部表聯邦查詢、Transaction Table 2.0 及 MaxFrame,構建支援流批一體與多模態 AI 數據處理的湖倉一體平台。
AI 模型可生成胜肽候選序列並預測其性質,但預測結果不等於經實驗驗證的生物活性。候選序列的分數須結合其衡量內容、模型評估所用數據及實驗證據理解。2024 年一篇研究指出,部分 AlphaFold 預測與實驗數據吻合,亦有部分即使信心度高仍有差異。
Deepkumar Patel 撰寫教學文章,從基本微分概念講解 Jacobians、Hessians、JVP 與 VJP,並説明它們如何連結至神經網絡的反向傳播。JVP 將輸入方向的變化向前傳遞,VJP 則將輸出敏感度向後傳遞;兩者都無須建立完整 Jacobian。文章亦比較前向模式與反向模式的計算效率和記憶體取捨,並以手算例子及 JAX、PyTorch 説明相關概念。
英偉達於10月28日推出開放權重語音轉錄模型 Nemotron 3.5 Transcribe,並同步推出配套訓練數據管線 Granary v2。Nemotron 3.5 Transcribe 採用 MoE 架構,總參數量為340億,支援40種語言轉錄、31種語言與英語互譯,可區分最多8名説話人並處理多人重疊對話。
阿里雲瓴羊 Dataphin 以「治理即研發」理念,透過標準、資產、安全及 AI 引擎四大支柱,將治理融入數據建模、開發、運維和消費流程。文章指出,AI 輔助能力可降低70%以上的重複性數據開發工作量,並分析上汽大眾、雅戈爾及洋河股份的應用場景。企業選型可關注治理流程、安全管控、AI 生產力及資產消費入口。
DeepSeek LLM 初始版以 2B、7B 和 67B 規模開源,採用 LLaMA 的成熟架構,並以 2T token 語料進行預訓練。DeepSeek 的縮放定律研究顯示,最優模型規模與訓練數據量對算力的擬合指數分別為 0.5243 和 0.4757,分配略偏向模型側。
縮放定律指出,模型損失會隨參數量、數據量和算力按冪律下降,令模型規模與表現的關係變得可預測。Kaplan 2020 主張固定算力下優先增加參數;Chinchilla 2022 則提出參數與訓練 token 按 1:20 同比例增長,追求計算最優。GPT-3 以 1750 億參數展示規模效應,DeepSeek 則以模型側縮放策略和架構效率探索另一條路。
GPT-1 證明「預訓練 + 微調」可應用於多類 NLP 任務,GPT-2 則以零樣本能力和生成質素的提升,初步展示模型規模擴大與能力增強的關聯。GPT-1 有 1.17 億參數,GPT-2 有 15 億參數;文章指出,兩者維持架構和任務不變、擴大參數和數據的做法,為縮放定律埋下伏筆。
IDC發布的《中國大數據平台市場份額,2025》顯示,阿里雲以23.5%的份額排名中國大數據平台整體市場第一,市場份額同比增長29.6%。2025年整體市場規模達267.9億元,同比增長27.8%;阿里雲公有雲市場份額為48.7%,並連續五年排名公有雲市場第一。
TuringGate Lab 發佈 Suggested Jargon №1,列出本週值得了解的五個 AI 術語,並以掃描數據提供基線統計及簡明定義。Model Context Protocol(MCP)在最近 7 天錄得 73 次提及,是五個術語中提及最多的一項;其餘包括 vibe coding、open weights、distillation 和 on-device AI。
人形機器人產業正加速走向量產與實際場景應用,特斯拉 Optimus 已在加州弗裏蒙特工廠的量產線開工。按 Smart Analytics Global 統計,2026年上半年全球人形機器人出貨約1.91萬台,中國廠商佔97%以上。文章並將投資觀察重點放在核心零部件、企業主業現金流及批量訂單。
這篇個人 AI 項目指南提出以每週實際 GPU 忙碌時數計算租用與購買的損益平衡點,忙碌時間不等於 SSH 連線開啟時間。
Runcrate 團隊在 RTX 5090、L40S、RTX A6000 和 H100 上,比較 torch.compile 與 eager 模式訓練 468M 參數 Llama 類模型,並測試 SDPA 和 eager attention。
AI 業界正轉向合成數據生成,以應對高質素人類數據短缺,並減少真實數據收集涉及的私隱、授權成本和偏見問題。生成式對抗網絡(GAN)、擴散模型及 LLM 輔助模擬可生成仿照真實數據特徵、但不含原始識別資料的數據集。合成數據可用於醫療診斷、自動駕駛模擬及詐騙偵測訓練。
景爍科技獲嘉御資本、HKSTP香港科技園、天狼星資本等共同投資,完成數千萬美元 pre-A 輪融資。文遠知行披露,景爍科技致力於構建物理 AI 時代的數據與模型基礎設施,產品體系包括 WorldEngine、GENESIS-Robotics、EGOK、高質量數據集及定製數據服務。本輪融資後,公司將擴充核心研發團隊並推進相關基礎設施建設。
中國氣象局國家衞星氣象中心發布風雲三號 H 星(FY-3H 星)及風雲四號 C 星(FY-4C 星)的數據產品,普通公眾也可使用相關服務。公眾可透過風雲衞星遙感數據服務網及客戶端、「風雲看地球」和「風雲此刻」微信小程序取得產品;相關數據有助提升温室氣體探測、數值天氣預報、環境監測及空間天氣監測預警能力。