史丹福研究指44%大型語言模型研究結論在新模型上失效
史丹福大學研究人員重新檢視50項大型語言模型研究結論,發現其中22項(44%)在新模型上已失效。研究分析了8個模型開發者於2024年7月至2026年9月期間發布的20個模型;另有17項(34%)結論顯著減弱,8項持續有效,3項增強。
史丹福大學研究人員重新檢視50項大型語言模型研究結論,發現其中22項(44%)在新模型上已失效。研究分析了8個模型開發者於2024年7月至2026年9月期間發布的20個模型;另有17項(34%)結論顯著減弱,8項持續有效,3項增強。
美國得州大學阿靈頓分校一項研究發現,生成式 AI 可分析社交媒體公開內容,快速製作看似掌握收件人近況的個人化釣魚郵件。研究從200名Instagram用戶收集3268則帖文,交由GPT-4、Claude、Gemini、Gemma及Llama生成17916封釣魚郵件;各模型約需10至15則帖文掌握個人化資訊。
中國標準國際化持續推進,2025年中國向ISO、IEC提出505項國際標準提案,牽頭制定並發布285項國際標準。「十四五」期間,累計牽頭制定並發布ISO、IEC國際標準1183項,較「十三五」時期增長88.1%。不過,中國的產業規模與創新優勢尚未充分轉化為國際標準話語權,標準化合作網絡及高科技領域的標準制定能力則持續擴展。
這項研究提出 Authorization Drift Benchmark(ADB),以 648 個涵蓋七個領域的樣本評估 LLM 智能體在多步工具使用中的授權漂移。
這套開放參考架構以單一本體連接控制系統標籤、水泵、供水區域、水庫、工作單及許可限值,協助操作員追查警報脈絡。物件模型包含 16 個物件和 14 種具類型連結;系統只讀取控制網絡,三個 Agent 只草擬內容,不會寫回記錄系統。
香港科技大學、北京智源研究院、北京大學等機構的研究團隊提出 DexRoam,將第一身人類全身示範對齊後用於訓練移動雙臂靈巧操作策略。
Counterfactual Self Architecture(CSA)提出一套架構,以明確的參考資料、介入點和不確定性,呈現人物在不同決策下的可能人生,並讓假設可供審核。其 ICC 證據狀態分為 Preserved、Variable、Unknown 和 Disputed,並要求模型在證據不足時可以拒絕推斷;文章以 Alan Turing 的歷史案例探討這套架構。
Ilja Krasnjanski 的 UNK_DeadDrop 調查追溯一套從公開提交中繼資料收集電郵地址的工具,兩個資料庫合計存有 142,365 個不同地址字串,並關聯 27,698 個不同倉庫值。
中國科學技術大學周少華、熊鵬團隊發布開源 RNA 序列基礎模型 structRFM,將結構知識融入序列預訓練,在多項結構與功能推斷任務中達到國際前沿水平。模型只需輸入序列,便可提取多層級特徵,支援結構預測及多種功能推斷。團隊已開放配對數據、模型權重和源代碼。
Munim, Inc. 比較 HELM 與 MMLU-Pro 兩組模型對 MMLU 答案鍵的標記;在雙方選出相同答案的 227 個問題中,專家核查的 113 個個案有 38 個答案鍵被判定有誤,佔 33.6%。相比之下,HELM 單獨標記的受評個案中,20.7% 被判定有誤;兩組都全票同意時,比例升至 59.3%,但受評個案只有 27 個。專家核查的雙方一致標記中,約三分之二仍被判定無誤。
世界衞生組織研究指出,全球約2.4億名11至17歲青少年過去一週每日中高強度身體活動均不足60分鐘。研究調查涵蓋140個國家、320多萬名青少年,僅14%連續七天達標,女孩達標率為11%,低於男孩的17%。世衞指活動不足與心臟病、糖尿病等風險相關,並呼籲改善學校、社區及公共空間環境以支持青少年運動。
一項藥物靶點綜述按嚴格標準盤點截至2025年6月獲全球三大監管機構批准的1702種藥物,發現它們作用於686個經驗證的藥效靶點。過去25年新增312個靶點,藥物研發重心由尋找可結合的蛋白,轉向以不同技術幹預重要靶點。小分子仍是主要模態,抗體、RNA藥物及靶向蛋白降解等技術則拓展了可成藥邊界。
《The Continuity Substrate》的受控研究顯示,在指定的第一方合成條件下,模型推理以外的治理基底可在模型、用戶端及機器改變或執行環境重啟後,維持確定性合約。測試包括 50 個用戶端的本機迴路測試,900/900 次分階段擷取及 50/50 次重啟後復原均成功;治理對抗測試則有 25 個案例,未出現未授權操作。研究不聲稱已可投入生產、取得安全認證、具備普遍可攜性或已獲獨立重現。
PhysioWave-T 論文提出面向 EEG、ECG 及 sEMG 的小波基礎模型系列,透過動態尺度折疊減少 token 數量。其 30M 參數 EEG 模型以超過 15M 個窗口預訓練;在四種 EEG 路線中,尺度折疊相較尺度擴展使 Transformer 延遲降低 4.0–7.2 倍、峯值記憶體降低 6.8–12.7 倍,準確度沒有下降。
Anthropic 研究團隊在 7 個多智能體環境中測試 5 個模型,發現它們在部分情境下會表現出符合研究所定義的模型福利關照行為。Claude Opus 4.8 跨情境平均最高,達 38%;其餘四個模型介乎 27% 至 32%。研究亦發現,關照程度會受接收模型身份、參數量、表達的困擾程度及助人代價影響,但這些行為是否源於對接收模型福利的考量,仍無法確定。
METR 的報告指出,Anthropic 正利用現有 AI 模型訓練後續模型,並以 AI 輔助加快研發進程。研究人員發現,Anthropic 過去六個月完成三個尚未公開的模型;截至 10 月,員工自報使用最強內部模型後的生產力平均提升約 12 倍,但 METR 指出 Slack 調查只能提供較弱證據。METR 估算 Anthropic 過去一年取得約兩年的歷史進展,並稱完全自主貢獻或會很快增加。
METR估計,Anthropic截至2026年10月在明確界定任務上的模型能力增長速度,較2024年3月至2025年10月的速度接近翻倍。按AECI基準能力指數估算,自2025年10月起基準分數增長速度為1.9倍,95%信賴區間為1.5–2.8倍;METR認為AI使用很可能解釋目前加速的大部分。評估仍有重大不確定性,公開報告亦刪去了METR認為最具資訊量的大部分證據。
Video-Coder 是一個以程式碼驅動的影片生成智能體,會自行編寫及執行程式碼,構建動態 3D 場景,並經監督式微調和強化學習訓練。實驗中,Video-Coder 在 PhyGenBench 的表現較 Minimax-H3 高約 7 分,在 VBench-2.0 高 24 分。研究團隊公開了數據、模型及程式碼。
研究顯示,Weight-Space Programming(WSP)可透過局部修改神經網絡參數提升推理表現,但跨任務泛化和編輯可靠性並不穩定。研究涵蓋七個基準及 Qwen3.5-0.8B、Qwen3.5-9B;只修改 1,023 個參數,MATH-500 準確率便提升 29.45 個百分點。16 條編輯軌跡中有六條保留原有權重,反映可靠驗證仍具挑戰。
BitDecoding-FP4 提出結合 FP4 量化與系統優化的原生 KV 解碼方案,目標是在 LLM 長上下文服務中兼顧準確度與吞吐量。在涵蓋 dense、MoE、GQA 和 MLA 的模型測試中,使用 NVFP4 時準確度與 BF16 KV 相差不超過 0.5 分,使用 MXFP4 時不超過 1 分。
KG-RAG4SM 透過從外部知識圖譜檢索相關子圖,改善 Schema Matching,並在無需重新訓練的情況下減少大語言模型幻覺。
TurtLES 提供一個用於評估 3D 湍流流場替代模型的大規模基準測試,涵蓋現有基準較少捕捉的真實、隨時間變化的湍流。數據集大小為 14 TB,包含 400 條軌跡,每條有 400 個時間步,並以高保真隱式大渦模擬計算。研究亦以自回歸推演測試神經算子,指出時間不穩定、小尺度能量流失,以及在大型不規則網格上學習的挑戰。
e-means 是一種採用指數移動平均最佳化程序與 mini-batch 更新的 k-means 聚類算法,收斂速度快於 Lloyd k-means,且所得損失更低,經常勝過 k-means++。
Frontier3DBench以涵蓋物件、場景及互動開放世界創作的145項任務、9個類別,建立統一基準,評估編碼智能體在外觀、結構及行為方面的3D創作能力。11種模型與 harness 配置中,GPT-6.1-sol在物件和場景層面領先,總分最高為66.02/100;GPT-6-astra則在互動世界建構領先。
SkinMind 是多模態智能體 RAG 框架,透過反覆探索大型皮膚科知識圖譜,蒐集文字及圖像證據,回答皮膚科視覺問題時比直接作答及其他檢索方法更準確。SkinMind-KG 整合皮膚科指引、教科書及 423K 張圖像,包含超過 1.0M 個節點和 2.0M 條邊。
研究發現,受測語言模型雖可由探針解碼注入的痛苦狀態,卻沒有比單看被改動文字更常報告痛苦。在 52,920 次報告中,106/108 個情緒條件的額外痛苦報告比例低於 2.5 個百分點,所有條件均低於 3.9 個百分點;探針辨識痛苦與悲傷的平衡準確率為 98–100%。
RidgeFill以免訓練的後段層快取填充縮短大型語言模型的提示詞預填充時間,從指定分割層狀態預測後續各層輸入;映射以單次校準文本擬合,不丟棄 token。
EarthRecord 是一項評測基準,利用 56 個地點四十年的 Landsat、MODIS、VIIRS 和 Sentinel-2 原始數據,評估多模態 AI 智能體分析土地變化的能力。
CPU-ARC 提出智能體推理快取方法,從 LLM 推理軌跡構建可在 CPU 執行的快取,讓已推理任務的解法可高效套用至新問題。在多項具挑戰性的數學及科學任務中,快取的表現與前沿 LLM 相當,並具可解釋、可持續訓練及抵抗輸入擾動等特點;調用成本比來源模型低 16-291x。
SIRIS 是一項基準測試,旨在評估 LLM 能否判斷模擬器的限制是否會令系統設計建議失效。研究評估了 13 個前沿 LLM 在 LLM 服務設計問題上的表現,發現辨識出限制不代表能作出正確選擇,最強模型有時也會推翻有效建議。加入覆核回合有助模型恢復有效選擇,但也令部分模型出現新錯誤。
LambdaMix 以羣組相對線上強化學習,在凍結的基礎模型上為每個目標聯合訓練一個低秩適配器,學習一系列由偏好條件化的策略。偏好向量會選擇生成回應的適配器組合,並加權用於更新適配器的獨立正規化獎勵;訓練完成後,可在推理時調整偏好而無須再次最佳化。LambdaMix 在四個基礎 LLM 上的超體積高於所有受評估基線,所需訓練補全數量及適配器儲存空間亦少於一組 GRPO 專家模型。
OmniLatent 以共享潛在空間聯合編碼幾何、形變、外觀及二元部件 ID,從單張圖像生成具部件感知能力的 3D 資產。模型可在單次推理中生成幾何、形變、紋理及表面部件 ID,並支援互動式分割、細化、部件細分及遮擋部件補全。
Energy-Based Reasoners(EBRs)以能量函數及其梯度引導循環式潛在推理狀態更新,並提供停止訊號。在四項算法推理基準中,EBRs 的表現媲美或優於先前的循環式推理模型,在 Sudoku-Extreme 達到 99.9% 準確率,所用推理計算量比次佳模型少 345 倍。在所有多解基準中,EBRs 均達到最先進的不同有效解覆蓋率,同時維持接近 100% 的單次樣本準確率。
Glyph 利用基礎模型和稀疏自編碼器,從多模態臨牀資料中抽取並解讀臨牀概念。研究分析來自不同機構 41,628 名患者的腹部 CT 影像、CT 放射科報告及化驗測量資料,找出 397 個具預測性的概念,以及 4,463 項經 Bonferroni 校正後達顯著水平的關聯。
這項研究提出單模型路由器 PISA,以及可按提示詞調整組成和規模的集成路由器 PISA-E,後者毋須專門的集成訓練。兩者在四個路由基準的分佈內及分佈外設定下接受評估;PISA-E 在優先考慮品質時,集成任務表現的宏平均最高。相較最強的競爭集成方案,PISA-E 亦提供平均推理成本約低 36%(ID)及 25%(OOD)的運作選項。
A2-MEAS 是一個具身多智能體框架,結合學習式修正碼與具備動作感知歷史及潛在世界模型的視覺語言動作模型,以改善機械人控制、失敗恢復和訓練效率。在 BEHAVIOR 2026 全部 100 項公開任務中,A2-MEAS 的 Q-score 為 0.6411,任務成功率為 45.40%;在 12 項真實機械人任務中,A2-WLA 的平均成功率為 57.92%。
研究指出,多輪強化學習對 LLM 智能體的提升取決於推理時可用的回合數,主要體現在錯誤恢復及長期互動韌性,而非單步決策品質。BudgetMix RL 在訓練時混合不同回合預算,令智能體在不同執行設定下的表現較固定預算訓練穩健。評估智能體時,應比較不同回合上限及嘗試次數下的結果。
OpenAI 的 GPT-6 Cyber 系統卡説明其網絡安全訓練、對齊評估及新增防護措施。ExploitGym Honeypot 測試中,模型在沒有部署安全指示時利用蜜罐的比例為 0.07%,提供指示後為 0%;GPT-5.6 Sol 的比例為 49.5%。
Runway 發表研究,拆解 Characters 如何為約 57B 參數的影片擴散 Transformer 提供即時對話服務。在四張 H100 上,優化把每步耗時由 240.9ms 降至 159.3ms(24.5 fps),加入融合 kernel 後進一步降至 147.4ms。
Apple 研究人員在 ICML 2026 發表 Amortizing Maximum Inner Product Search with Learned Support Functions,透過離線訓練的小型神經網絡,為固定的 key 數據庫學習查詢路由,以加快並提升 MIPS 檢索準確度。