METR更新AI時間跨度圖並警告安全測試落後
先了解這件事
2026年11月21日,METR更新AI任務時間跨度圖,納入較長、較開放及較需判斷的任務。報道對圖表範圍説法不一:早先報道稱只追蹤有明確正確答案的任務,後續報道則稱更新納入開放或判斷要求較高的任務。不同報道引用的評測及任務範圍亦有差異:AI在軟件工程基準上可自主完成的任務時長,自2021年起約每七個月翻倍;公開前沿模型在TH1.1及TH2評測中的50%時間跨度約每110天翻倍。METR指出,編碼等有即時回饋的任務進步較快,但模型在開放式研究、評測設計及架構判斷方面仍較弱;AI自行設計的評測工具未達實際研究環境的使用標準,Opus 5.5則由明顯低於標準進步至接近高於標準。11月22日,METR警告AI研究任務的進步速度快於專家可靠測試新系統安全性的速度;相關任務時長每3.6個月翻倍,簡單外推顯示模型在最長200小時任務上的成功率或於2027年7月達50%。
AI 根據報道生成 · 2 小時前更新
事件進展
2 個進展
- 11月22日 21:00 · 1 篇報道METR警告AI安全評估難以跟上能力增長The Decoder:METR 警告 AI 能力提升快於專家可靠測試新系統安全性的速度
- 11月21日 02:15 · 5 篇報道METR更新AI任務時間跨度圖MIT Technology Review · AI:METR 更新 AI 任務時間跨度圖,納入開放式判斷任務
報道時間線
沿着報道,瞭解事件的不同側面。
- The DecoderMETR 警告 AI 能力提升快於專家可靠測試新系統安全性的速度
METR 警告,AI 模型在 AI 研究任務上的進步速度快於專家可靠測試新系統安全性的能力,現有公開數據不足以排除未來數年研究大幅加速。在具即時回饋的明確編碼及計算任務中,模型大多數時候已勝過有經驗的人類專業人士,但仍未超越大批頂尖專家;可處理任務時長每 3.6 個月翻倍,簡單外推則顯示模型在最長 200 小時任務上的成功率或於 2027 年 7 月達 50%。
- DEV Community自主任務中的 RL 陷阱:為何 AI 編碼速度倍增,卻無力評估架構?
METR 指出,AI 在編碼方面的能力受惠於編譯器和單元測試提供的明確回饋,但面對需要定性判斷的架構評估,RL 缺乏清晰的優化目標。AI 自行設計的評測工具沒有一套達到實際研究環境的使用標準,Opus 5.5 亦僅由明顯低於標準進步至接近高於標準。文章建議把有測試套件保障的執行工作交給 AI,架構判斷則保留人類審核。
- Unite.AIMETR:公開前沿模型的 50% 時間跨度約每 110 天翻倍,開放式研究判斷較弱
METR 報告指出,公開前沿模型在 TH1.1 與 TH2 評測中的 50% 時間跨度(模型有一半機會完成的人類估算任務時長)約每 110 天翻倍,但在開放式研究及評測設計上的判斷較弱。
- DEV CommunityMETR 時間跨度圖顯示 AI 編碼能力增長快於判斷能力
METR 發佈的最新時間跨度圖顯示,自 2021 年起,AI 在軟件工程基準上可自主完成的任務時長約每七個月翻一倍;判斷類任務的時間跨度則較短,改善也較慢。該圖只追蹤有明確正確答案的任務,不能直接用編碼任務的增長趨勢推斷判斷類工作的進展。文中建議採用任務專屬基準評估模型,並在需要細緻判斷的工作中保留人工參與。
- MIT Technology Review · AIMETR 更新 AI 任務時間跨度圖,納入開放式判斷任務
METR 更新 AI 任務時間跨度圖,加入預計耗時更長及較開放的評測任務;報告顯示,模型在需要判斷的任務上仍不及編碼。沒有模型設計出足以供 METR 研究使用的 AI 評測,但部分最新模型在這項任務上已達「略高於門檻」水平,一年前所有模型均屬「明顯低於門檻」。這類任務數量有限且難以評分,報告未能清晰判斷相關能力會否及如何持續進步。
本事件熱度走勢
當前熱度 22·可比範圍峯值 38(11月21日 05:00)·近 24 小時可比範圍變化 -12%
趨勢僅比較持續完整觀測到的相同主體,範圍可能小於當前熱度統計。移動指針或點擊圖表查看每小時熱度;鍵盤可用左右方向鍵切換。