Ai2 推出 HiRO-ACEv2 氣候模擬系統,生成全球 3 km 氣候數據的成本約為 X-SHiELD 的 1/300
Ai2 推出 HiRO-ACEv2 氣候模擬系統,可生成全球 3 km 氣候數據,成本約為運行高解像度全球大氣模型 X-SHiELD 的 1/300。新降尺度模型 HiROv2 可同時預測多種高解像度氣象變量;以粗化的 X-SHiELD 數據作輸入時,即使對每百萬個數據點才出現一次的事件,其高解像度統計與目標模擬相差不超過 3%。
Ai2 推出 HiRO-ACEv2 氣候模擬系統,可生成全球 3 km 氣候數據,成本約為運行高解像度全球大氣模型 X-SHiELD 的 1/300。新降尺度模型 HiROv2 可同時預測多種高解像度氣象變量;以粗化的 X-SHiELD 數據作輸入時,即使對每百萬個數據點才出現一次的事件,其高解像度統計與目標模擬相差不超過 3%。
研究團隊提出首個從零開始預訓練的三模態遮罩擴散模型(MDM),訓練數據涵蓋文字、圖文及音訊文字。研究系統分析多模態 scaling laws、模態混合比例、噪聲排程及批次大小效應,並提出基於 SDE 的重新參數化,毋須調校最佳批次大小。初步模型規模為 3B(6.4T tokens),在文字生成、T2I 及 T2S 任務均取得強勁結果。
MIT 研究人員參與的團隊開發機器學習後處理模型,透過修正既有預報模型的誤差,提升未來兩至六週的天氣預報準確度。該方案在 ECMWF 預報競賽中獲得第一,預報能力較原模型提升一倍,並首次勝過氣候平均值。研究亦顯示,該方法可改善全球多數地區的陸地預報,並在極端天氣預測上帶來統計上顯著的提升;它也能套用於其他模型。
推薦理由:這項後處理方法可套用於不同預報模型,並同時改善兩至六週預報與極端天氣預測,呈現機器學習校正長期預報誤差的實際用途。
Illumina 推出 BioInsight Platform,整合分析應用程式、專為基因組學打造的 AI 模型及經整理的數據資源,讓研究人員在同一軟件環境中使用相關工具。平台納入新版本 DRAGEN v4.6,並以按用量計費的 BioInsight Credits 取代傳統年度訂閲。研究人員可申請免費試用。
研究提出 Proximal KL,一種離策略 RLVR 方法,將近端參照策略與抽樣策略分開,並以有界的未來 KL credit 取代 PPO clipping。Qwen3-1.7B 和 Qwen3-4B 的 7 項匹配比較顯示,Proximal KL 在 8 個數學基準的微平均準確率最高提升 2.58%。
DemoDoctor 在 PushT 上以無標籤訊號檢測機械人示範故障:停滯和抖動的 F1 分別為 0.867 和 0.687,延遲與截斷的檢測較弱,重複影格則未能可靠識別。ACT 策略在四種數據條件下各以 3 個隨機種子訓練 60k steps,研究未能測出故障或清理數據造成的表現差異;成功率僅 0–4%,結果不足以排除影響。
人工智能正由企業的普通工具轉為新型生產要素,透過重構研發、優化要素配置及促進協同,加速企業創新。「機器化學家」把原需約1400年的試錯搜尋壓縮至5周,展示數據與智能驅動研發的效果。
山東省人民政府辦公廳提出,到2027年在科學研究、醫療健康等16個重點領域建成50個以上行業高質量數據集。實施意見支持數據企業建設行業知識庫和評測數據集,以支援人工智能大模型訓練應用,並鼓勵開發、應用行業大模型,探索「數據+技術+場景+資金」方式。
大型律師事務所正把交易紀錄、訴訟策略及客戶偏好等內部經驗融入 AI 系統,期望藉此與同業可購買的通用工具形成差異。Kirkland & Ellis 今年較早前同意支付 Palantir $500 million 建設技術;Morgan & Morgan 已開始使用可辨識案件模式的內部 AI 模型,並表示未來十年將投入 $1 billion。
前字節跳動實習生田柯宇近日在播客中首次回應「投毒」爭議,稱自己曾用 GPT 編寫程序停掉另一名實習生的任務,並表示事件不屬「投毒」、不涉及攻防。他稱自己約十天內手動停掉對方程序約五次,承認行為不當並接受法院一審判決的50萬元賠償;判決亦沒收其全部實習工資。播客上線後,前團隊同事發布上萬字説明報告,指其説法與事實有出入,並提醒合作者及投資人審慎核實;田柯宇方面尚未回應。
英偉達正透過一系列交易與人才吸納,把業務由 AI 基礎設施延伸至前沿模型研發,目標是同時製造計算系統與前沿智能。按公開報道及已宣佈的交易安排計算,Groq、Poolside 與 Hugging Face 相關交易規模接近400億美元,涵蓋技術授權、人才吸納、股權投資及待交割收購,並非已支付的併購現金。Hugging Face 收購協議尚待交割;若交易完成,成熟的開發者平台也會加入這個組合。
推薦理由:文章梳理英偉達對 Groq、Poolside、Hugging Face 的投資、技術授權與人才吸納,如何共同推動其由計算基礎設施延伸至前沿模型研發。
田柯宇以世界模型創業者身份融資近3000萬美元,投後估值2億美元;同時,親歷者整理的回應文件就其在字節跳動實習期間幹預訓練一事提出不同説法。田柯宇在10月12日播客訪談中稱,自己約十天內手動幹預五次,否認爭奪算力及影響其他成員研究;文件則稱相關項目受影響長達4個月,並指VAR展示模型是已開源的PixArt,真正的VAR T2I訓練狀態和loss表現存在嚴重問題。
WorkRover 框架透過遞迴式環境演化訓練長時程協作智能體,並用於後訓練 Qwen3.5-35B-A3B,得到 WorkRover-35B-A3B。WorkRover-35B-A3B 在 JobBench、OfficeQA Pro 及 GDPval v2 的評分,較 Qwen3.5-35B-A3B 分別高 26.27 個百分點、29.32 個百分點及 413.25 Elo 分。
DeltaTTG 透過共享進度計,利用多種策略記錄的軌跡訓練可重用的進度訊號,將剩餘生成 token 數量作為完成任務所需工作的代理指標。
Anthropic 報告指智譜旗下 GLM-5.3 及月之暗面的 Kimi 涉及擷取 Claude 能力,並披露相關攻防。Anthropic 表示,三類防禦措施部署後,蒸餾活動取得的資料減少約 90% 至 99%,並封鎖數萬個相關帳戶。相關數字來自 Anthropic 自身監測,仍屬初步結果;公司亦稱新防線尚未經複雜且持續的攻擊考驗,平台數據不能代表外部蒸餾活動同步減少。
Niz 推出免費的 Pulse Local,這是一款供 Apple Silicon Mac 使用、在本機執行 AI 模型的預算管理應用程式;本機模式無須帳戶,帳本和提問留在裝置上,亦不傳送分析數據或當機記錄。
Cerebras 的指南示範如何以 null expert 修正 MoE 的 top_k=1 路由梯度問題,令 4 專家模型在 2.4B tokens 時較密集 GPT-2 基準提升 2%。實驗以 124M GPT-2 模型為基礎;問題源於 gate normalization 令 gate=1,交叉熵梯度因此無法傳至 router,而 null expert 不增加參數或計算量。
Cerebras 分析 MoE 在現代硬件上的擴展,指出 GPU 專家並行會帶來記憶體與通訊瓶頸,並説明 Cerebras WSE 的方案。WSE 的片上 SRAM 容量約為最新單張 GPU 的 900 倍,並透過 weight streaming 支援在單一裝置訓練現今的萬億參數 MoE 模型。
MIT研究團隊展示,人工神經網絡可按簡單規則自行組織,並構建自身的學習機制。研究團隊的網絡能學習辨認模式及分類圖像,表現與採用反向傳播的網絡相若。研究提出,自組織能力是評估人工神經網絡對生物學是否合理的重要指標。
付費電郵的價值在於用戶直接支付郵箱服務費,讓供應商靠訂閲收入維持服務。免費郵箱可能靠廣告或其他付費訂戶補貼,收件箱資料亦曾被用作商業廣告數據;Google稱不會用個人 Gmail 訊息訓練 Gemini 基礎模型。付費仍不能免除法律責任、保證送達或保障郵件進入 Gmail 後仍加密;只有自有網域能改變電郵地址仍屬他人網域的問題。
Databricks 公佈 Lakeflow Designer 過去 4 個月的更新,新增無程式碼資料清理與品質檢查算子,並擴充工作流程和輸出功能。新增功能包括去重、資料品質檢查、Join 分支、動態選取欄位,以及輸出至 materialized views、現有資料表和 CSV、Excel、JSON 檔案;畫布亦加入可搜尋目錄、版本差異檢視和即時遊標協作。
研究團隊提出 PrismaForge,以合成評分規準拆解多模態程式碼資料的品質要求,並用於資料篩選及模型訓練。團隊據此建立 PrismaCoder-2M 數據集,並訓練、發布 PrismaCoder-9B 和 PrismaCoder-35B。兩款模型大幅領先開放模型的現有水平,並可與領先專有系統匹敵;該評分規準流程亦提升不同模型骨幹的多模態編碼表現。
SERO 透過訓練時使用可執行的 Oracle 延續,改善長時程智能體強化學習,且推理時無額外開銷。研究在 ALFWorld 和 WebShop 上使用 Qwen2.5-1.5B-Instruct 及 Qwen2.5-7B-Instruct 評估;在 ALFWorld 上,學習完整延續比只監督根節點 Oracle 動作更有效,政策可達性加權亦提升分佈外表現。
MULTIFINGROUND 是一項多語言基準測試,顯示語言模型雖能識別財務概念,仍常未能找回全部對應數值證據。基準涵蓋 90 個發行人的 FY2025 英文、法文及希臘文披露資料,評估 15 個模型。當中 8 個 API 及開放權重參考模型的概念識別準確率達 97.3-99.4%,但在 26.6-41.9% 已正確識別的概念組中,至少漏掉一項目標事實。
CoTranslator 將反向推理軌跡轉換為符合已驗證正向推理分佈的內容,支援高效、可遷移的學生模型推理蒸餾。在六個數學基準測試中,六個學生模型的平均準確率較語義抑制法最高提升 5.82 個百分點;兩個 4B 學生模型保留拒絕採樣平均準確率的 95.0%,估算運算量則為其 35.9%。
研究指出,語言模型的隱藏狀態可能已編碼任務資訊,但讀出層尚未能在輸出中呈現;因此,按輸出判定能力出現時間,反映的是讀出學習,而非模型獲得能力的時間。研究以 parameter-trajectory crosscoding 分析 Pythia 預訓練,發現進度達 0.4-1.1% 時,讀出開始重新組織,WordNet 詞類亦可從讀出行解碼。
擴散模型的校正模組透過修正去噪預測減少曝光偏差,提升無引導及無條件生成的樣本品質。這項方法在 DiT、SiT 和 JiT 上的表現可媲美 CFG;結合 CFG 則可進一步提升多樣性,並減少過度飽和。將修正後的預測蒸餾回基礎模型,可保留品質提升而不增加推理開銷。
研究顯示,稀疏自動編碼器(SAE)的重建表現往往可用較少激活 token 接近全數據參照值,但特徵可重現性仍隨數據增加而提升。研究以 5M 至 500M 激活 token 的數據預算,訓練 4 種 SAE 架構,並在 3 個語言模型上比較功能表現與特徵一對一重現。Gemma-2-2B BatchTopK 的嚴格匹配特徵比例由 5M token 時的 2% 升至 50M 時的 29%。
FSPO 提出一種結合當前特權適應與函數空間時間整合的單策略框架,在近期的自蒸餾策略方法 SDPO 上取得顯著改進。它將稀疏的歷史下一個 token 分佈存為固定的時間目標,無需維持持續運作的教師模型。
科學家質疑 AI 服務是否會利用對話紀錄取得或訓練研究構想,並擔心單一文字可能影響稀有、冷門題目的模型表現。討論者對相關做法是否正在發生並無定論,亦提到使用者應留意對話紀錄與私隱設定。
作者批評 AI 行業把「遞迴自我改進」(RSI)用作廣泛的創業宣傳概念,認為不少公司將自我蒸餾、模型生成數據迴流訓練等做法都稱為 RSI,令概念邊界變得含糊。他指出,模型公司的 RSI 仍處於探索階段,並質疑缺乏新數據的自我蒸餾能否避免過擬合;文章亦將這股熱潮放在近期世界模型、AI for Science 等投資概念炒作中批評。
GitHub 訓練並部署微調 ModernBERT 分類器,與 regex 候選生成組成兩階段機密掃描流程,以周邊脈絡區分真實憑證和相似字串。相較舊有 LLM 流程,線上以儲存庫擁有者加權的接受率提高 11.5%,post-push 掃描中位執行時間降低 86%,服務成本降低逾 98%。
推薦理由:文章拆解 regex 與微調 ModernBERT 結合的兩階段設計,並以接受率、掃描時間及服務成本數據呈現其相較舊 LLM 流程的變化。
宇樹科技創始人王興興認為,GPT-7 明年推出後可能突破具身智能的難題,相關臨界點或在一兩年內到來,但行業仍面對泛化性和效率挑戰。他透露,團隊已將 GPT-6 部署至機器人進行任務測試,並認為自進化需要累積人類操作、仿真及真機數據。機器人大規模落地還涉及算力部署和工業數據開放等問題。
Meta 的 2026 年一代 GEM 把各廣告版位與優化目標整合到單一中央推薦基礎模型,並將總訓練 FLOPs 擴大 4x。GEM 在 Meta 的廣告版位及優化目標中帶來 18.9% 轉換提升和 12% 廣告點擊率(CTR)提升;端到端訓練效率翻倍至 20-25% MFU。
禾賽科技正式發佈三維世界數據引擎 Kosmo,並同步推出 Kosmo One AI 空間相機和 Kosmo World 雲平台。Kosmo 可將採集的真實場景重建為 3DGS、mesh 和 depth 數據,供具身智能訓練使用。在 Sharpa 機械人應用於 DQ 冰淇淋門店的案例中,Kosmo 約 15 分鐘即可掃描並生成三維訓練環境,任務成功率升至 99%,失敗個案降至原來十分之一。
研究比較阿拉伯語低資源預訓練中混入英語數據與超參數調優,發現數據混合在驗證損失和下游任務準確率上的提升更大。研究涵蓋 150M 至 1.43B 參數的四種模型規模及約 1000 次預訓練實驗;混合帶來的效益相當於 2–3× 獨特目標語言數據的驗證損失效益,以及 2–13× 的下游任務準確率效益。研究建議優先調整混合比例,並透過 μP 將小型代理模型的超參數轉移至大型模型。
Lovable 擴展應用程式建置能力,現可分析檔案及連接的應用程式資料,並生成可供編輯及下載的文件,以及可下載的圖像和影片。支援 PowerPoint、Word、PDF、CSV、Excel、JSON、XML、JPEG、PNG、GIF、WebP、文字檔及影片。其 AI 智能體可在安全環境中執行程式碼和小型腳本,用於數據分析、檔案處理及格式轉換。
Berkeley RDI 推出 CUA-Lite,作為開發電腦操作智能體的開放平台,統一環境介面、監督式數據格式,並讓每個模型的 harness 共用於評測、SFT 和 RL。平台已整合 15+ 個基準測試、10+ 個數據集,並為 14 個模型家族實作 harness;其可選的免 VM 桌面沙盒提供 30k+ 個可驗證訓練任務。
AI 公司正購買企業的 Slack 私訊、電郵、程式碼及其他工作紀錄,用作訓練模型,相關市場迅速擴大。Gartner 估計,AI 數據年度支出將由去年的不足$1 billion升至2027年的近$6.5 billion。
正則化透過改變訓練目標、模型架構或停止流程,抑制脆弱的複雜度並改善泛化能力。其五階段流程涵蓋識別過度擬合、選擇 L1、L2、Dropout 或 Early Stopping 等約束、以驗證數據調整強度、訓練時追蹤擬合與穩定性,並以未使用過的數據確認成效。