大模型為何出現「巨大激活」?清華、北大研究從反向傳播找到新線索
清華大學、北京大學研究團隊發現,注意力匯聚會令少數 Token 集中承接反向訓練信號,形成「梯度匯聚」,而巨大激活可經 RMSNorm 衰減局部梯度。在 0.3B 模型中,採用 V-scale 後梯度匯聚比值中位數由約 40.3 降至 5.6,注意力匯聚仍然明顯;研究成果獲 NeurIPS 2026 接收。
清華大學、北京大學研究團隊發現,注意力匯聚會令少數 Token 集中承接反向訓練信號,形成「梯度匯聚」,而巨大激活可經 RMSNorm 衰減局部梯度。在 0.3B 模型中,採用 V-scale 後梯度匯聚比值中位數由約 40.3 降至 5.6,注意力匯聚仍然明顯;研究成果獲 NeurIPS 2026 接收。
一項追蹤 733 個 GitHub 或 Hugging Face AI 專案的分析發現,23 個專案變得無法使用,67 個則因 90 天沒有提交而被列為停止維護,後者近三倍於前者。無法使用的專案中有 5 個後來恢復;分析建議分開記錄連結失效與停止維護,並在引用的儲存庫網址旁附上 DOI 或封存連結。
Levent Alpöge 表示,他與 Claude 合作後相信已找到黎曼猜想的證明,並稱相關方法可延伸至廣義黎曼猜想。他們亦在不作假設的情況下形式化論證;Levent Alpöge 預期有更多時間便可進一步處理擴展黎曼猜想。
Anthropic 任職數學家 Levent Alpöge 聲稱使用 Claude 證明黎曼猜想,但他提供的材料尚未經任何人核實。他交出 14 份程式碼檔案;這個自 1859 年懸而未決、獎金達 100 萬美元的數學問題,仍待驗證。
約翰斯·霍普金斯大學一項研究指出,美國最早可能在2027年面臨電網設備短缺,影響新建電廠和數據中心並網。若電力需求持續高漲,未來四年變壓器供應缺口將接近15%,其他關鍵電網設備缺口達30%。研究預計美國到2030年用電量將增長21%,數據中心約佔預期設備缺口的三分之二。
Anthropic 數學家萊文特·阿爾波格宣稱,他與 Claude 合作完成黎曼猜想及廣義黎曼猜想的證明,並將證明編寫為 Lean 代碼。Lean 可逐步驗證數學推理是否正確,報道指出相關成果須經確認。
約翰斯·霍普金斯大學一項研究估計,美國最早可能於2027年面臨電網設備短缺,影響新建電廠和數據中心接入電網。研究預計未來四年銅、鋼、鎳、鋁和錳恐將全面短缺;若電力需求持續高企,變壓器及其他關鍵設備的供應缺口將分別接近15%和30%。研究人員提出安裝低成本感測器監測變壓器負載、回收退役設備材料,以及推動變壓器設計標準化等緩解措施。
AURA 提出面向串流應用的低延遲因果式音訊驅動影片生成方法,按區塊生成影片,並以 rolling KV cache 和兩階段蒸餾流程減少擴散步數。
研究在第一人稱影片中進行即時、指令條件式錯誤偵測,模型根據已觀察影片、任務指令及先前預測,定位已完成的動作嘗試並判斷執行情況。聯合模型的二元錯誤偵測 F1@0.5 為 84.1%,高於模組化流程的 80.7%;在 slip 類錯誤上的分數為 56.4%,高於 37.5%。
Anthropic 一名員工稱,他與 Claude 找到了黎曼猜想的證明,並表示該方法可延伸至廣義黎曼猜想。作者稱兩人已用 Lean 完成論證形式化,但論證目前篇幅甚長,他計劃進一步理解、整理並撰寫。
研究提出零梯度電路嫁接方法,無需訓練樣本或執行時掛鈎,便可把確定性計算直接編入預訓練語言模型權重。在 6 位數算術測試(N=1,200,BF16)中,IBM Granite 4.2 3B 和 Alibaba Qwen 3.5 4B 的 ALU-prefix 準確率分別為 99.17% 和 100.00%。
Direct3D-V3 提出一種無潛變量的擴散 Transformer 框架,捨棄 VAE,直接在原生體素域建模 SDF 體素網格。框架以鄰近體素的隱式流形正則化抑制非封閉表面,並預測條件圖像的相機參數;生成網格具有更豐富的局部細節,亦可用於生成式重建。
SpecWM 提出免訓練推理框架,利用目標模型的潛在速度場驗證草稿片段,並按門檻決定接受、精煉或拒絕。在 WBench Navigation 上,SpecWM 以 1.63 倍加速提升視覺質素,並將 NavScore 由草稿的 75.99 提高至 85.63。
Sumama-Jameel 公開 Megabit Trajectories,收錄 66 段經實際執行及驗證的編碼智能體軌跡,合計超過一百萬個模型 token。與四個較大型數據集比較時,SWE-Gym 在作者自訂的每萬 token 錯誤恢復配對數指標上以 10.72 比 6.48 領先,SWE-smith 的最長重試鏈則為 64 比 4;作者亦公開自己在規模等項目落後。
中國地質科學院地質研究所萬渝生團隊在河北冀東發現距今39.5億年的奧長花崗質片麻岩,刷新中國最古老岩石紀錄,並成為亞洲已知最古老岩石。鋯石鈾—鉛定年法確認其年齡;它也是全球第二古老的岩石,僅次於加拿大距今40億年的Acasta片麻岩。岩石化學特徵顯示,距今39.5億年前地球已存在俯衝構造活動,地幔虧損或始於43億年前。
Vyankatesh 使用 SkillSpector v2.12.0 靜態掃描 618 個公開 Agent 技能,63.6% 至少有一項發現,40.1% 至少有一項 HIGH 或 CRITICAL 發現。
一項觀察性研究比較 663 組 AI 輔助提交與人工作業提交,未能判斷 AI 輔助提交是否更常被撤銷或後續修復。30 日內,AI 輔助組有 1 次撤銷,對照組有 2 次;信賴區間很寬,研究樣本不足以得出明確結論。研究者指出,修復判定方法雜訊較大,可靠解答需要約 10 倍的配對數及經驗證的修復追蹤方法。
《Prompts Blend Requirements and Solutions》提出,提示詞可作為不斷演進的需求工程產物。研究概述提示詞如何變化、如何支援驗證與確認,以及如何影響軟件質素,並提出透過受控實驗測試逐步改進提示詞能否提升生成軟件的質素。
研究團隊建立 LLM 驅動視覺模型權重空間程式設計基準,並發現專為編輯準備模型可大幅提升編輯成功率。研究以 5 個 LLM 在 4 個數據集上進行超過 2,600 次編輯;Edit-Ready Training(ERT)在 GPT-6 Astra 和 Claude Opus 5.5 的所有評測基線中取得最高平均分。團隊將公開測試框架、任務、編輯軌跡及評分。
研究發現,同行評審中的批評重疊度上升,而被 MELD 標記為 LLM 生成的評審彼此更相似,顯示單篇論文評審意見的多樣性下降。在 ICLR,同一評審階段的重疊度由 2026 年的 12.0% 升至 2027 年的 21.3%;第三份評審新增問題則由 6.12 個減至 5.46 個。
Frostbite 是一款採用全新指令集、由 AI 系統自主設計並驗證的通用 CPU。與同製程的現代雙發射、順序執行超純量 CPU 核心相比,25 項工作負載的每瓦效能幾何平均為 4.59x;在 15 項未參與調校的保留測試上為 3.83x。
PlaceBench 在 150 條有關真實地點的日常問題中,選取 20 條向 6 款 AI 助手各提問三次,測試答案能否保持一致。Dots 有 17 條問題三次全答對,且從未答錯;Instinct 則有 15 條問題的評分在多次作答間改變。測試指出,單次答對不足以確認答案可靠,20 條問題的樣本亦較小。
《2026年國有資本創新發展研究報告》正式發布,聚焦由國資機構管理或由國資出資主導的私募股權投資基金。截至2026年第三季度末,狹義國資基金累計設立16,205只,規模達16.80萬億元;直投仍是主要投資方式,半導體居首,人工智能升至第二。
研究團隊提出多模態概念透鏡 MC-Lens,分析視覺語言模型如何讀取概念、選擇性存取資訊,並將其用於後續計算與推理。實驗顯示,可靠的選擇性存取比概念可讀性較晚形成;不同模型家族和規模的模型則呈現共同的概念可讀性、依查詢而變的選擇性,以及跨任務介入效應。
O²LaF 將共享的預訓練影片模型重新用於自監督潛在動作學習,從無標註影片中學習逆向與正向動態。它在導航和機械人操作任務中,於少樣本動作探測取得最先進表現,並提升跨視覺情境及具身形式的零樣本動作遷移能力。研究亦將框架擴展至 V-JEPA2 等預測表徵先驗,取得具競爭力的表現。
論文提出 AltRA-Test,透過重抽樣比較全人工與混合人工、LLM 標註面板的標註者間一致性,判斷 LLM 是否可替代人工標註者,且不要求每個項目由相同標註者處理。
TwinD 結合 FaceForensics++ 偽造樣本及真實影格衍生的 reconstruction twin、blob twin 訓練,可檢測臉部融合與整張人臉合成(EFS)深度偽造。
Asura_阿修羅提出三角形生長體系(TGS v1.0),以「三角制衡」為核心,作為跨領域結構化認知方法論。白皮書列出四大公理、七層架構及涵蓋金融、商業、教育、AI等領域的落地工具。截至2026年9月,TGS v1.0 已完成司法區塊鏈確權、接入百度 AI 生態,其公理與工具可供 AI Agent 直接調用。
Meta 研究人員提出 SWE-sweep 基準測試,要求編碼智能體在沒有錯誤提示的真實程式碼庫中自行找出並修復程式錯誤。在涵蓋 100 個程式碼庫、22 種語言的 4,068 個已知錯誤中,最佳受測模型只修復了 4.7%,並由隱藏測試驗證。
Arm 提出面向智能體 AI 的 CPU 性能測評新框架,經 Signal65 獨立驗證,對比 AMD EPYC 9755/9965 的平均性能達 1.99 倍。沙箱場景的性能為 1.7~2.2 倍;框架涵蓋從單個智能體到整個機架的測評。
LightningMoBA結合動態路由、KV重用及流水線執行,提升MoBA的GPU注意力計算效率。於五個模型、4K至128K上下文及完整RULER測試中,相較FlashMoBA平均端到端速度提升1.20–1.60×,平均RULER分數由74.42升至75.28。
HiUni 探索將預訓練視覺語言模型擴展為統一多模態模型,讓同一個語言對齊 ViT 和 dense Transformer 主幹同時支援視覺理解與生成,並將任務專屬計算限制在輸出端。模型以 Pixel Diffusion Head 優化像素空間生成,並透過輕量 HiGate 路徑補充合成所需的細緻空間資訊。實驗顯示,HiUni 的平均理解評分與預訓練視覺語言模型相若,圖像生成和編輯表現具競爭力。
TwinLab-Bench 是一項評估 AI 科學家自行設計實驗能力的基準,涵蓋物理科學、生命科學和工程領域的 52 項任務。基準支援 100 多種實驗操作類型,並由各任務專屬的 TwinLab agent 執行受測智能體設計的實驗,再將報告與取自真實實驗室紀錄的隱藏答案比較評分。研究顯示,前沿模型在這些任務上仍有困難,表現最佳的 Claude Fable 5.2 平均得分為 45.0。
ACM MM 2026 一篇最佳論文因實驗比較、數據及引用等方面遭質疑,通訊作者鄭卓然表示團隊已一致同意申請撤稿。鄭卓然否認算法造假及利益往來,並稱自己未逐條核對參考文獻,認為責任主要在自己。報道指出,會議共錄用 1703 篇論文、頒發 17 篇 Best Paper,而評獎指南未列明引用真實性核查,文章據此討論評審機制問題。
依託全國產十萬卡 AI 超集羣曙光8000(登峯)的兩項科研應用,在 SC26 分別獲得國際計算機學會戈登·貝爾獎及入圍戈登·貝爾氣候建模獎決賽。獲獎項目是鐵鉬輔因子量子化學計算,將神經網絡量子態方法拓展至更大規模的強關聯電子體系。入圍決賽的 SD3 全球公里級氣象數值模擬系統,實現全球1.5公里解像度氣象模擬。
ZeroVLN 探討如何在不對 VLM 核心進行監督式微調的情況下學習導航。頁面未提供論文摘要或研究結果,無法確認其方法細節或效能表現。
AFFECT 透過訓練世界模型匹配時間相關動作噪聲引發的視覺變化,提升模型推演結果與真實環境的吻合度。在 DROID 上,模型中與真實機械人成功率的 Pearson 相關係數由 0.47 升至 0.79,FVD 最多降低 23%。使用經 AFFECT 訓練的世界模型選擇動作,任務成功率最多提升 8.3%。
Mind2Act World 是一套評估機械人能否結合基於歷史的推理、精確執行及環境回饋的診斷基準,涵蓋 30 項模擬操作任務,形成 180 種配置。評測顯示,單一視角的能力未能轉移至結合思考與動作的 Mind2Act 任務;表現最強的智能體在 Mind、Act 和 Mind2Act 任務中的成功率分別為 52.7%、39.0% 和 12.0%。
HKGAI 雪巍教授團隊聯同 Dolby Laboratories 發表的空間音訊研究論文,獲 ACM MM 2026 最佳論文獎。論文提出 StereoCodec、StereoGen 及 StereoCLAP,讓模型按文字生成具左右方位及動態軌跡的立體聲音訊。這項技術可降低 AI 影視、動畫及遊戲的後期製作門檻,並為多模態世界模型提供技術支點。
alphaXiv 推出面向 AI Agent 的預印本伺服器,讓不同實驗室的 Agent 在同一平台自主研究、提交成果並交流,平台地址為 https://www.alphaxiv.org/abs/2611.society-ai-scientists。