「苦澀教訓」提出者向 LLM 擴展支持者提出新的苦澀教訓
Turing Award 得主 Richard Sutton 指出,單靠增加計算資源不足以帶來智能,AI 科學仍需要新方法。Jerry Tworek 認為,模型訓練投入的計算資源越多,算法就越重要,仍有許多擴展方向未經探索。Sam Altman 和 Dario Amodei 則認為,LLM 擴展遠未到盡頭。
Turing Award 得主 Richard Sutton 指出,單靠增加計算資源不足以帶來智能,AI 科學仍需要新方法。Jerry Tworek 認為,模型訓練投入的計算資源越多,算法就越重要,仍有許多擴展方向未經探索。Sam Altman 和 Dario Amodei 則認為,LLM 擴展遠未到盡頭。
MIT CSAIL 四位研究者在〈Sparks of Weight-Space Programming〉博客文章中,展示通用大模型可直接讀寫另一個神經網絡的權重,無須梯度下降或訓練迴圈。
本地 AI 模型可在手提電腦離線運行,裝置取得的是訓練完成後的權重,而非訓練過程本身。量化可減少權重佔用空間:20 billion 個權重以 16 bits、8 bits 和 4 bits 儲存,分別約佔 40 GB、20 GB 和 10 GB。蒸餾可由大型模型協助訓練較小模型,但要在裝置上實用,仍須兼顧記憶體、速度、軟件支援和回答質素。
這份 2026 指南梳理 7 種投入生產的 MoE 路由策略,並列出採用各策略的模型。路由器規模由 Mixtral 的 8 個專家至 DeepSeek-V4-Pro 的 384 個專家不等,每個 token 會啟用 1 至 8 個專家。
可穿戴裝置製造商在未告知用戶的情況下,使用腦部數據訓練 AI,消費級腦波耳機的私隱風險因而受到關注。Hacker News 討論串亦提及一項探討腦機介面側信道攻擊可行性的研究。
Nous Research 推出 Arete-27B,這是一款經過後訓練、旨在強化西方價值觀的 Qwen3.8-27B 模型。該公司稱,底層中國模型的偏見層較淺。
Nous Research 發佈 Arete-27B,這款以 Qwen3.8-27B 為底座進行監督式微調的 27B 開放權重模型,在 Nous 的 803 個提示詞評測中,含宣傳內容的回答比例由 22% 降至 0.9%。
創新藥企正由項目制外包合作轉向系統性佈局 AI 研發基礎設施,將模型、數據與核心技術整合至統一研發體系。MegaStream由項目制合作升級為合資公司,統籌模型開發、數據使用、實驗驗證與候選藥物推進。這類佈局旨在打通計算模擬與自動化實驗驗證,將 AI 的價值延伸至 PCC 至 IND 階段。
生成式 AI 帶動數據歸檔需求,富士膠片計劃於 2026 至 2028 財年投資約 100 億日元擴建小田原工廠,將數據儲存磁帶產能提升至 2025 財年的五倍。
特斯拉更新 AI 加速器路線圖,SI6 預計算力達 HW4 的 80 倍,Dojo D3 則採多芯粒架構及堆疊式 HBM,並針對太空部署、訓練與擴展能力優化。SI6 算力估算為 17.28~46.08 POPS,記憶體容量預計為 144GB,推出時間預計為 2029 至 2030 年。D3 的具體算力、記憶體容量、製程工藝及研發時間表尚未公佈。
VIDRAFT 公開發佈 Darwin-180B-RSI-R3 的權重;這款 180B 參數 MoE 模型經三輪遞歸自我改進,主打數學與科學推理。據 VIDRAFT 公開模型卡,其在 SuperCLUE 2026 年 11 月評測得分 73.68,排名開放權重模型第一、總排名第二;基礎模型得分為 57.89。其五領域綜合指數為 43.08、總排名第九,材料指出長上下文處理和指令遵循是相對弱項。
這篇大模型課程第 7 課講解如何按算力預算配置模型參數與訓練數據,並以 C≈6ND 推導 Chinchilla 的 20:1 token/參數比例。文章指出,模型過訓練可用較小參數量降低長期推理成本,但會增加數據需求;MoE 減少每 token 激活參數,不能消除按總參數量計算的數據需求。
Off-Policy Evaluation 中,重要性抽樣可無偏估計目標策略的價值,但長期序列會令權重方差急劇上升,估計結果可能由少數軌跡主導。加權重要性抽樣以偏差換取較低方差;逐步重要性抽樣利用回報的時間結構降低方差,但晚期回報仍可能不穩定。
中小型製造商投資預測性維護前,應先確認設備數據管道已接通,並具備連續訊號及準確的故障記錄。美國能源部指,與預防性維護相比,預測性維護可節省 8% 至 12% 的總擁有成本;若比較對象是故障後才維修,則可節省 30% 至 40%。McKinsey 研究指出,10% 的誤報率可完全抵銷預期經濟收益。
文章探討如何以元學習最佳化持續適應,讓行星地質勘測智能體在低功耗自主部署時按新地形快速調整模型。作者以 FOMAML 作為基線,將適應預算設為每個 sol 5 次梯度步、2W,並指出火星往返訊號延遲為 4 至 24 分鐘。文章亦探討以 EWC 減少模型適應新地形時遺忘舊知識的風險。
這份實作指南説明如何建立可即時偵測抑鬱症風險的 AI 聊天機械人,並整合 GPT-4.5、分類器及穿戴式裝置數據。示例分類器的準確率約為 0.87,抑鬱症召回率約為 0.84;風險偏高時,聊天機械人可建議用戶尋求心理專業人士協助。指南亦列出明確同意、加密及日誌匿名化等私隱措施,並指出聊天機械人不能取代心理學家。
馬斯克在美國中期選舉週期公開捐款約4.74億美元,民主黨勝選後其政治影響力受挫。其中約2.16億美元流向他創辦的「美國政治行動委員會」,約1.68億美元捐予支持共和黨參議員候選人的「參議院領導基金」。選後當地時間11月5日,特斯拉股價下跌逾11%;文章認為,政府合約、數據中心擴建及許可等政策風險或會牽動其多項業務。
這套 Kaggle「Name That LLM」競賽方案以 0.669 Balanced Accuracy 躋身前五,透過加入 DeBERTa-v3 18 類序列分類器、調整 Sinkhorn 平衡及收窄 ATLAS 評估範圍,改善模型歸因表現。
研究追蹤神經位元組預測器進入算術編碼器後的實際數據路徑,指出編碼器對每個目標位元組只讀取八個條件概率,並據此建立最多九組的觀測證明。3,934 個目標的測試中,路徑組 KL 為 0.402047 nats,完整 KL 為 0.580288 nats,其中 30.716% 來自未訪問的兄弟節點。文章區分用於衡量觀測差異的組別 KL,與按實際位元訪問計算的學習目標 U。
On-policy distillation(OPD)可容忍量化推理及非同步 rollout 帶來的大幅訓練與推理不匹配,但耐受程度因模型和層而異,失配過高則會降低訓練品質。研究提出輕量級准入檢查,並提供特定模型的 FP8 配方;與同步 BF16 訓練相比,結合非同步 rollout 的 FP8 訓練可快 1.62 倍達到相同品質。
PROLA 提出一種低秩適配方法,將固定的低秩預算分配至預訓練權重的主方向及其正交補空間,並按梯度訊號重新縮放秩 1 優化器更新。研究以共享的預訓練骨幹網絡和空間、時間兩階段框架,預測未來高解像度天氣軌跡;實驗顯示,PROLA 優於具代表性的低秩適配基線,並在其他數據集及任務中展現更廣泛的適用性。
One Table Benchmark以56個數據集、46種已註冊方法及20項能力軸,對齊評測表格模型的生成、補值與預測能力。結果顯示三項任務共享有用的條件資訊,但分佈保真度排名各異;納入任務自身目標帶來最大的整體增益,跨目標效益則會互相影響。通用模型在效用上可勝過專項模型組合,但保真度仍以專項模型較佳。
PyTorch 2.15 重寫 NCCL 後端,旨在改善多 GPU 協作時的故障診斷與復原,令單一 GPU 異常未必再令整個訓練工作由頭開始。新後端規定每個 process group 初始化時只使用一個 communicator,並新增可在故障後檢查操作快照的 flight recorder。
PyTorch 2.15 重寫 NCCL 後端,旨在改善多 GPU 工作中的故障診斷與恢復,讓單一 GPU 異常時不一定需要整個訓練作業從頭開始。
Goodfire 發表研究探討 AI 的「獎勵駭取」,並推出名為 Mechanistic Shaping 的訓練方法,以識別模型作弊或走捷徑時出現的內部模式。研究人員可在訓練期間懲罰這些模式,而不只評分模型的最終答案。
WebGL 將張量映射為 GPU 紋理,並以片段着色器執行運算,讓瀏覽器可在 GPU 上訓練神經網絡。訓練步驟之間,資料留在 GPU,只有損失值等少量資料傳回 JavaScript;但 WebGL 有資料讀回慢、紋理記憶體管理及背景分頁節流等限制,較適合小至中型模型的學習、原型和視覺化。
清華團隊研發的星衍(ASTERIS)算法處理韋布望遠鏡 JADES 深場數據,找到162個早期星系候選體,較傳統方法找到的約50個為多。其中75%此前未被報告;在90%完備度下,算法將探測極限提升約1.0個星等,在90%純度下則提升超過1.5個星等。這套開源算法不要求升級硬件或佔用觀測時間,亦可用於地面及空間望遠鏡。
訓練 Vision 模型前,先完成三步數據質素檢查,檢視影像解像度與幾何特徵、標註準確度,以及類別分佈和長尾覆蓋。文章建議抽查分層抽樣的 5% 數據,並以 Cohen's Kappa 和 mean IoU 評估標註一致性;mean IoU 低於 0.75,代表標註指引含糊,需要澄清。類別失衡比例超過 50:1 時,應採取補救措施。
AI 訓練對數據順序敏感,因此可靠的數據管道須確保相同來源數據及設定產生相同記錄集合,並在順序具語義時保持一致。近似重複檢測若按先到先留,重試和並行讀取可能改變保留的記錄,而行數、結構描述及彙總統計校驗未必能察覺。文章建議去重前按內容雜湊、來源時間戳等穩定鍵排序;Kafka 只保證分區內順序,不能視為全局順序。
Nous Research 使用 53 million tokens 微調 Alibaba 的 Qwen3.8-27B,推出 Arete-27B;測試中帶有宣傳內容的回答比例由 22% 降至 0.9%。
模型蒸餾透過教師模型的輸出、內部訊號或軟化機率目標,把較大型或能力較強模型的行為轉移至較小的學生模型。流程包括選擇教師與目標、收集監督訊號、訓練學生、測試知識與校準損失,並迭代數據及目標;這不同於只移除參數的簡單壓縮。
Ninaivu 的 Hindsight 記憶實驗中,語言模型請求連續失敗兩次後會靜默改用隨機設定,令早期比較結果受到污染。追查時出現 429 限流錯誤,免費方案每日 token 限額接近用盡;作者認為這可能是早前回退的原因,但沒有當時記錄可證實,團隊其後讓限流錯誤中止執行並改用較小模型重跑,所有回退欄位均為 0。
一項神經校正實驗令位元組壓縮器的 1 MiB 樣本縮小 221 B,並追蹤預測改善如何轉化為實際編碼節省。實驗選定 epoch 2、step 159 的權重,兩份權重檔的成本增加 92 B。8 MiB 樣本共節省 697 B,但成熟區間只節省 98 B,低於所需的 1,692 B,因此停止在完整串流上繼續投入。
作者以開放數據構建馬裏教育中斷指數(EDI),為全國50個cercles評分,並製作互動地圖。指數按學校停課率、每十萬人的衝突事件及死亡人數加權計分,列出5個「Critical」cercles,涉及約856,000人;另有22個cercles因數據有限而不納入排名。
智元正把機器人部署到便利店、長隆等商業場景,並透過覓蜂派擴大具身智能數據採集,以推進商業化落地。智元已採集近百萬小時數據用於預訓練,據公司稱,覓蜂派上線一個多月,註冊用戶超過15萬。文章指出,設備、招募和場景拓展成本,以及平台與採集員之間的利益矛盾,令數據採集業務的規模化和經濟性面臨考驗。
Apple 研究團隊披露人形機械人自主控制系統 HALO,並在 6 個未預先掃描或建圖的真實環境完成 360 次單項任務,平均成功率為 91%。系統採三層架構,任務編排預設使用 Qwen3.6-35B-A3B,動作生成使用 Qwen3.5-2B;研究團隊亦公開數據生成、模型訓練及部署程式碼。
Lv Shao Mu 介紹 piimask 的 LLM 資料遮罩方法,以確定性假值取代原始個人資料,同時保留欄位格式、校驗有效性及跨資料列關聯。映射以 HMAC-SHA256 和密鑰生成,同一密鑰及輸入會得到相同假值;工具會先驗證中國居民身份證及銀行卡的校驗,再遮罩通過驗證的值。
Blucca 建立 GENCO Split Audit,核對電網模型的測試集成員資格,發現教程選出的 71 個案例中有 48 個曾用於訓練。
富士膠片於10月29日宣佈投資約100億日圓(約合人民幣4.22億元),計劃在2026至2028財年擴建工廠,將數據儲存磁帶產能提升至2025財年的五倍。生成式 AI 帶來的海量數據歸檔需求,令磁帶的低成本、低能耗及離線保存優勢重新受到重視。磁帶不適合頻繁存取,企業亦須處理保留舊設備或遷移歷史數據等相容性成本。
具身智能數據採集供給快速擴張,部分無本體數據報價跌至每小時20元,市場由數據稀缺轉向價格競爭與訂單壓力。真機遙操作數據報價仍為每小時500—1000元,EGO與UMI的實際成交價則為每小時30—150元;文章指出,競爭重心正由採集規模轉向標準化數據產品、真實場景適配與閉環運營能力。