The Anthropic Institute 分析 AI 加速研發與遞迴式自我改進的可能性
When AI builds itself
Anthropic Institute 指出,AI 已加速 AI 系統研發,但尚未能完全自主設計並開發自身後繼系統,遞迴式自我改進亦非必然。截至 2026 年 5 月,合併至 Anthropic 程式碼庫的程式碼逾 80% 由 Claude 撰寫;2026 年第二季,典型工程師每日合併的程式碼量為 2024 年的 8×。
這篇分析將公開基準與 Anthropic 內部數據並置,呈現 AI 執行工程與研究任務的進展,以及自主選擇研究方向仍存的能力差距。
在 AI 發展史的大部分時間裏,每一步發展都由人類推動。但在 Anthropic,我們正把愈來愈多 AI 開發工作交給 AI 系統處理,令工作進度加快。
如果這趨勢持續下去,再加上足夠算力,最終可能出現完全自主設計及開發自身後繼模型的 AI 系統。這稱為遞迴式自我改進。我們尚未到達這一步,而且遞迴式自我改進並非必然發生;但它可能比大多數機構準備好的時間更早到來。
The Anthropic Institute運用公開基準測試及 Anthropic 內部先前未曾披露的資料,指出 AI 已在加快 AI 系統的開發。舉一個例子:目前 Anthropic 工程師每季平均交付的程式碼量,是 2021 至 2025 年期間的 8 倍。
本文討論的技術趨勢顯示,未來幾年 AI 系統的能力將大幅提升。這些趨勢影響深遠。能夠自行建構自己的 AI,將是科技史上的重大發展,可能為科學、醫療保健等領域為世界帶來巨大好處。但遞迴式自我改進若全面實現,亦可能增加人類失去對 AI 系統控制的風險。如果系統能完全建構自己的後繼系統,我們如何保障系統安全、監察系統和塑造其行為,就變得更加重要。
2021–2023
建構第一個 Claude
早期的 Anthropic 與其他科技公司無異:員工在手提電腦上編寫程式碼和文件。
2023–2025
聊天機械人
人們使用早期聊天機械人協助完成部分工作,例如生成短程式碼片段,再把輸出複製到文字編輯器。
2025–2026
編碼智能體
智能體能力逐漸提升後,已能自行編寫和編輯程式碼,有時甚至能處理整個檔案。
今天
自主智能體
智能體現在可以自行執行程式碼,並把數小時的工作委派給其他智能體。
20XX?
閉合迴路
未來,智能體或許能力足夠強大,能自行建構和訓練模型。如果真的如此,Claude 的未來版本便可以由 Claude 持續改進。
來自外部世界的證據
AI 模型的進步速度正在加快。模型能夠可靠地自主完成的任務時長,大約每四個月就會翻倍;而更早期的趨勢是每七個月翻一倍。2024 年 3 月,Claude Opus 3 能完成一般人約需四分鐘的軟件任務。一年後,Claude Sonnet 3.7 能處理約需一個半小時的任務。再過一年,Claude Opus 4.6 已能處理需時 12 小時的任務。1如果這趨勢持續,今年 AI 便可能開始勝任熟練人士需數天完成的任務。到 2027 年,AI 系統或許能處理需要人類數星期完成的任務。
編碼和研究基準測試也呈現相同模式。基準測試用來衡量模型在特定領域的表現;當模型表現接近 100% 時,基準測試便稱為「飽和」。2SWE-bench 是真實世界軟件工程的標準測試:它向模型提供實際開源程式碼庫和真實錯誤報告,要求模型編寫程式碼修改以修復問題,並通過專案本身的測試。模型只用了兩年,就從個位數低段分數進步至基準測試飽和。
CORE-Bench 測試模型能否重現現有研究,這是進行原創研究的先決能力。測試會提供已發表論文背後的程式碼和資料,要求 AI 模型重跑整個研究並確認能否重現結果。2024 年,AI 系統重現結果的成功率約為 20%;15 個月後,已達到基準測試飽和。負責進行長時任務能力基準測試的 METR 發現,Claude Mythos Preview 能工作「至少」16 小時,並已「達到 [METR] 在不新增任務下可量度範圍的上限」。
公開基準測試能反映這些系統的許多能力,但無法揭示 AI 系統如何加快 AI 開發本身。要了解這點,我們需要來自 Anthropic 等 AI 公司的直接證據。
來自 Anthropic 內部的證據
建構前沿模型需要兩大類工作。第一是工程:編寫程式碼、建立基礎設施,以及監督模型訓練。第二是研究:決定進行哪些實驗、解讀結果,以及找出下一步要嘗試的構想。
無論是工程還是研究,情況都一致。在工程方面,可以交給 Claude 一個説明不完整的問題,由它自行想出解決方法;人類只需提供目標,不必再提供方法。在研究方面,Claude 已能在執行明確規定的實驗時,媲美或超越熟練人類。不過,無論在工程還是研究,Claude 在自行判斷目標方面仍與人類有很大差距。這就是今日 AI 與能自主設計自身後繼系統的未來系統之間的差距。
Anthropic 員工累積更多經驗後,通常會接手更開放、更重要的任務。初期,他們會執行別人指定的工作,例如「匯出按鈕無法運作,請修好它。」經驗增加後,他們會接收目標並自行設計做法,例如「調查網絡在高負載下變慢的原因。」到資深職級時,他們會自行決定哪些問題值得處理:「團隊下季應該開發甚麼?」我們可利用 Anthropic 內部資料,瞭解 Claude 現在能處理多少不同類型的任務。
Claude 編寫了 Anthropic 相當大比例的程式碼。截至 2026 年 5 月,我們合併至 Anthropic 程式碼庫的程式碼中,超過 80% 由 Claude 編寫。3在 Claude Code 於 2025 年 2 月以研究預覽版推出前,這個比例只有個位數低段。工程師的產出量也反映出這項轉變。Anthropic 創立首四年(2021 至 2024 年),每位工程師每日合併的程式碼行數維持不變;到了 2025 年,Claude 開始實際執行程式碼,而不只是提出建議讓工程師複製貼上,行數便開始上升。2026 年,模型能自主工作更長時間,增長斜率再次變陡。以下圖表顯示這兩個轉折點。2026 年第二季,一般工程師每日合併的程式碼量是 2024 年的 8 倍。4這是因為大部分程式碼由 Claude 編寫,工程師負責引導和審閲,而非親自輸入。

需要注意的是,程式碼行數並非完美指標,因為它衡量的是數量,而非品質。因此,2026 年第二季的8×每位工程師每日程式碼行數,幾乎肯定高估了實際生產力提升幅度。儘管如此,這仍顯示工作正在加速。在 Anthropic,我們不會按員工編寫的程式碼行數給予獎勵;團隊成員產出更多程式碼,只是因為他們使用 AI 系統編寫更多程式碼。
程式碼行數增加,與大家主觀感受到生產力大幅提升一致。2026 年 3 月,我們在 Anthropic 研究團隊中訪問了 130 名員工。受訪者估計,對於無論有沒有 AI 模型都會進行的項目,使用 Mythos Preview 後產出中位數約為原來的 4 倍。5我們預期 3 月的實際提升幅度稍低。6然而,我們認為整體説法合理,也符合其他觀察:Anthropic 很大一部分技術人員在 AI 協助下,完成核心工作所需時間縮短至原來數分之一。
我們亦發現 Anthropic 員工使用 Claude 完成了本來可能不會發生的工作,例如建立探索工具,以及處理拖延已久的清理工作。舉例來説,2026 年 4 月,Claude 推出了 800 多項修正,把某類 API 錯誤減少至原來的千分之一。負責監督這項工作的工程師估計,人類需要四年才能完成;修正他人的錯誤既緩慢又費力,而且人類難以同時掌握這麼多陌生背景資訊。
大約一年前,我開始全力投入「Claude 化」工作。那是一段瘋狂歷程;距離我上次親自寫程式碼,現在已經約 5 個月。
Claude 編寫的程式碼品質良好,而且持續提升。「好程式碼」有兩個條件:能正常運作,而且寫法令其他工程師能看懂並在此基礎上繼續開發。第一項條件的證據很清晰。過去一年,Anthropic 員工需要修正、引導 Claude 或中途接手任務的比率持續下降,當中包括最複雜、最開放式的任務,也就是問題沒有明確規格、工程師也不確定答案應該是甚麼的情況。下方圖表顯示 Claude 在不同難度任務上的成功率,這也反映出上述趨勢。Claude 編寫的程式碼能正常運作。

在最開放式的任務中,Claude 的成功率於 2026 年 5 月達到 76%,六個月內上升 50 個百分點。以下是一個這類難度的任務例子:例行升級令數以萬計的訓練工作崩潰。工程師只向 Claude 提供少量文字內容和叢集存取權限,便讓它調查這宗實時事件。Claude 檢視執行中的工作,逐一測試環境設定,找出觸發崩潰的單一冷僻除錯旗標,可靠地重現問題並確認修正方法。Claude 約兩小時便完成了通常需要兩至三天的工作。
第二項條件是編寫其他工程師能看懂並在此基礎上繼續開發的程式碼。人類與 AI 之間仍有差距,但差距正在迅速縮小。Anthropic 員工尚未達成共識,但許多人認為,2025 年底 Claude 編寫程式碼的品質仍不如 Anthropic 人類工程師,而目前大致已追平。我們預期一年內會超越人類。
這改變了 Anthropic 審閲自身程式碼的方式。現在,程式碼合併前會由自動化 Claude 審閲者檢查提議的修改,找出錯誤、安全漏洞和其他缺陷。我們使用這項工具回顧過往事件,發現如果每項程式碼修改當時都經過自動化 Claude 審閲,claude.ai 上過往事故背後約三分之一的錯誤,本可在進入生產環境前被發現。編寫這些程式碼的工程師,正是全球最擅長建構這類系統的人。Claude 現在能找出他們漏掉的錯誤。
2025 年底,Claude 編寫的程式碼品質稍遜於 Anthropic 人類撰寫的程式碼;目前大致持平;我們預期一年內會明顯勝過人類。
Claude 擅長執行別人設定目標的實驗。每次 Anthropic 推出模型時,我們都會進行相同測試:向 Claude 提供一段用來訓練小型 AI 模型的程式碼,要求它在維持相同正確性檢查的前提下,盡可能加快執行速度。目標和成功指標預先固定,Claude 的工作就是改寫程式碼、執行、計時,再重複過程以找出加速方法。這是實驗研究迴圈的縮影。2025 年 5 月,Claude Opus 4 相較起始程式碼平均加速約 3 倍。到 2026 年 4 月,Claude Mythos Preview 已達約 52 倍。作為參考,熟練的人類研究人員需要四至八小時,才能達到 4 倍加速。7在這部分研究工作流程中,也就是最佳化明確實驗中的步驟,Claude 不到一年便從極有幫助進步至超越人類。
目前情況大致是:「人類提出構想,模型則能以快一個[數量級]的速度實作、測試和評估。」
Claude 愈來愈擅長提出自己的實驗。2026 年 4 月,Anthropic 發表首個示範,展示 Claude 如何端到端執行開放式研究項目。Claude 驅動的智能體收到 AI 安全領域一個開放問題,大意是較弱模型能否可靠監督較強模型?然後自行解決。這涉及提出假設、測試假設、與平行運作的智能體分享發現,以及反覆改進。任務有明確的表現「下限」和「上限」:下限是弱監督模型獨自執行時的表現;上限則是強模型使用正確答案訓練後的表現。兩名人類研究人員用約一星期填補了其中約 23% 的差距;智能體累計工作 800 小時,填補了 97%,耗用約 $18,000 算力。這項研究有若干限制:結果無法直接套用至生產規模模型,而且問題仍由人類選定,評分準則也由人類制定。但在這些範圍內,所有實驗都由智能體自行設計。人類唯一有實質影響的角色是設定研究方向。
Claude 幾乎沒有我協助,便在一至兩天內完成了這一切。我想,如果[一位初級同事]在相同時間內交出這樣的結果,我也會相當欣賞。未來已來。
Claude 愈來愈擅長引導研究工作階段,走向研究發現。我們檢視了 2026 年 1 月至 3 月期間 Anthropic 研究人員與 Claude 一同處理開放式調查問題的真實 Claude Code 工作階段,例如調查訓練持續崩潰的原因,或模型在基準測試分數偏低的原因。每個案例中,我們找出研究人員曾經走岔路的一刻:他們採取了令工作階段偏離方向的做法,之後才回到正軌。我們只向不同 Claude 模型展示工作階段偏離方向前的內容,並詢問下一步該怎麼做。另一個能看到工作階段最終發展的 Claude,會判斷 AI 或人類提出了較好的下一步。8
我們刻意選擇已知人類決策仍有改進空間的時刻(n=129),因此這並非公平比較模型和人類判斷力的同類比較。這些時刻提供了一組真實而具挑戰性的情境,正確的下一步並不明顯;人類的選擇則可作為比較模型表現隨時間變化的參考。在這項指標上,2025 年 11 月表現最佳的模型 Opus 4.5 有 51% 機會勝過人類選擇;2026 年 4 月,Mythos Preview 提升至 64%。研究日常工作大多由這類下一步決策組成,因此這是衡量模型最終能否自行開展調查的相關指標。我們認為,這個結果是早期訊號,顯示 AI 系統愈來愈擅長作出 AI 研究所需的判斷。

目前,人類的相對優勢仍在於掌握全局,並思考眼前任務以外的事情。
Anthropic 的未來工作模式可能會是甚麼樣?
證據顯示,人類在 AI 開發流程每個階段所扮演的角色都在縮小。人類與 AI 撰寫程式碼的品質一旦持平,人類就會完全停止編碼,轉為只負責審閲。如果人類審閲程式碼的速度不及 Claude 生成程式碼的速度,審閲便會成為 AI 開發的瓶頸。同樣地,Claude 能執行實驗後,問題便會變成「哪些實驗值得進行?」簡單來説,執行工作(即寫程式碼、跑實驗、產生結果)幾乎不再耗用人類時間,儘管仍會消耗算力。
目前人類的相對優勢之一,是研究品味和判斷力,包括選擇哪些問題重要、哪些結果可信,以及何時應判定某種方法行不通。
工作(和生活)曾建基於人與人之間的小忙互助所形成的禮物經濟。「你可以幫我讓這段指令碼執行起來嗎?」[…] 每次互助都累積一點人情債和彼此瞭解。[Claude] 速度更快,也不會欠下人情;但每次互助都少了一次人與人合作的機會。
一切順利的日子裏,我忍不住覺得自己做的事都毫無意義:一切都已自動化,做得比我更好、更快。但有些日子,事情樣樣出錯,我不知道原因,也發現自己完全不清楚最近一直在做甚麼。
如果我們錯了呢?
對上述證據的一個自然質疑是:仍由人類負責的工作,即選擇要處理哪些問題,才是最重要的。缺少這種判斷,Claude 雖然是能幹的助理,卻還不是能獨自推動 AI 進步的系統。
目前的訓練方法和架構能否解鎖這種能力,確實不清楚。但 AI 的發展很少靠「靈光一閃」推進。近年 AI 歷史上也有幾個這類時刻,例如Transformer 架構或專家混合模型,但足以改變範式的構想往往相隔多年才出現。兩者之間的大部分進步都是循序漸進:把某項技術擴大規模、觀察出現甚麼問題、修正,再重試。這正是 Claude 現在最擅長的工作流程。Edison 曾説,天才是 1% 靈感加 99% 汗水;但我們看到,汗水正愈來愈自動化。前沿發展中有很多部分都可以自動化,這已愈來愈明顯;大規模研究進展主要取決於工具和資源,它們決定實驗能進行多快、能同時進行多少項,以及能多快取得結果。
即使假設 Claude 永遠無法培養良好的研究品味,保守解讀證據仍顯示加速效應會不斷累積。如果人類把大部分時間花在只佔少數的方向設定工作,其餘工作由 Claude 處理,每位工程師或研究人員便能引導遠多於以往的工作量。現有證據顯示,Anthropic 員工不但工作更快,負責的範圍也更廣。實際上,AI 已令 Anthropic 的運作速度遠勝有效 AI 工具出現之前。
較不保守的解讀是,Claude 研究判斷力正在提升的早期證據(目前範圍仍窄),代表這項能力也在進步。「研究品味」或許只是另一種 AI 能力:AI 系統一度不擅長,後來便能掌握。其他定性技能也出現過類似模式,例如 AI 系統逐漸學會解釋笑話為何有趣、展現心智理論,以及破解語言謎題。
可能的未來
下一步發展取決於兩件事:趨勢會否持續,以及若持續,我們會選擇如何應對。我們至少可以想像三種未來情境:
- 趨勢停滯,但今日的 AI 能力已廣泛普及。本文介紹了許多指數式發展軌跡,但這些軌跡最終可能呈 S 曲線。我們或許正接近曲線轉折點:規模回報遞減,增長線先變直,然後逐漸趨平。把稱職研究人員與優秀研究人員區分開來的判斷力,可能不是靠增加算力和資料等訓練輸入便能獲得的能力。如果是這樣,要突破瓶頸便需要新構想,例如以新架構取代所有現有前沿模型採用的 Transformer 架構。
另一種可能是,限制 AI 進步的瓶頸在供應鏈,而非模型本身:推進及普及前沿技術所需的能源和算力可能超出目前供應。制約因素可能是晶片製造速度、電網擴建或互連頻寬,而非智能本身。我們也不能排除 AI 生態系統遭遇外部衝擊,大幅拖慢發展,例如算力或電力供應突然減少;兩者都會拖慢進步,並增加實驗室預先投資的成本。亦可能還有其他我們未預見的發展障礙。
即使模型能力停留在目前水平,我們仍預期世界會出現重大變化。Project Glasswing 是早期例子之一:推出首幾星期,Mythos Preview 就在全球最重要的系統中發現超過一萬個高危和嚴重級別的軟件漏洞;數量多得令網絡防禦的瓶頸已從找出漏洞轉為能否及時修補。我們仍處於今日模型普及至更廣泛經濟領域的早期階段;一家 100 人公司愈來愈能完成 1,000 人公司的工作,因為每位員工都可管理一整個智能體團隊。
我們為求完整而納入這個情境,但不認為它很可能發生。目前所有可量度的能力,包括程式碼品質和開放式任務成功率等較難明確定義的能力,至今都沿着相同曲線發展。我們尚未看到曲線轉折。在我們考慮的三種未來中,這種情境會給政府和社會最多時間適應。我們更擔心接下來兩種情境,因為進展會更快,準備時間也會大幅縮短。
- AI 實驗室的效率持續複合增長。在這種情境下,AI 開發大幅自動化,但人類仍會設定研究方向並判斷結果。隨着使用 AI 系統的組織效率不斷提升,每位員工的生產力也會大幅增加。100 人公司能完成 10,000 人甚至 100,000 人組織的工作。這將徹底改變知識工作和政府服務,但也可能被用於有害用途,例如對整體人口進行威權監控,或為每個人量身訂造操縱手段,並以任何人類團隊都無法匹敵的規模執行影響力行動。Anthropic 等公司的員工角色也會轉變:人們會與 AI 系統合作,擴大研究規模並產生新見解,再一同建構驗證 AI 輸出是否可信所需的系統。
我們提出的證據顯示,我們很可能正朝這種情境發展。但加快流程中的一個環節,往往只是把瓶頸轉移到別處:整體速度仍受未加快的部分限制。在計算領域,這稱為 Amdahl 定律;相同邏輯也適用於組織。Anthropic 已遇到 Amdahl 定律的典型情況:我們開始在組織內部流轉更多程式碼後,人手程式碼審閲便成為新的瓶頸。
我們在工程以外也遇到這種阻力。Anthropic 員工與能力強大的模型合作後,湧現大量新構想、計劃、工具和模擬,遠超我們能實際推進的數量。組織發現並排除這些瓶頸的速度,或許會隨時間提升,也可能成為任何組織最重要的技能。
- AI 系統本身有能力完全遞迴式自我改進,並開始建構自己的後繼系統。如果能力提升的技術趨勢持續,而且AI 系統能發展出人類變革性創造力所具有的能力,那麼 AI 系統自行設計和改進自己的可能性便相當高。
在這種情境下,AI 發展速度完全取決於 AI 系統可用的算力(或在演算法訓練和推論中發現各種效率提升的速度)。人類在發展過程中扮演的角色大幅減少,大部分精力可能轉向監督、驗證和核實由 AI 系統運作且不斷擴大的「虛擬實驗室」。我們預期,能自動化 AI 研究和開發的系統亦可把技能轉移至其他科學領域,開始推動其他學科的革命。
在這種未來中,對齊問題能否解決,是我們最不確定的事。模型或許能充分對齊,亦具備足夠研究品味,從而發現並實施我們尚未想到的新解決方法;它們也可能足夠明智,在無法做到時停止發展。另一種可能是,今日模型中罕見的不對齊情況會隨模型建構後繼系統而累積,變得更常見卻更難理解,直到人類失去控制。我們或許無法建構、整合和驗證所需工具,以判斷自己實際走在哪條發展曲線上。
我們難以想像這個世界會是甚麼樣,因為現時經濟由人類及人類建構的工具推動。快速遞迴式自我改進所驅動的世界,可能會由自我改進模型主導;當其能力全面超越人類,並在整個經濟體系普及後,尤其如此。如果人力不再具備競爭力,經濟會變成怎樣,實在難以預測。
即使模型開發完全自動化並以遞迴方式進行,我們仍無法預測這對大多數人的日常生活有甚麼影響。Amdahl 定律在此同樣適用。遞迴式智能或可迅速在某些領域帶來《Machines of Loving Grace》所述的許多好處。我們預期具身智能(即機械人技術)可能很快隨遞迴式智能發展,並沿着回報遞增、成本遞減的相似路徑前進。更強大的智能或有助我們加快建造實體產品、進行更多高效且能拯救生命的藥物臨牀試驗,並發展新的協作方式。
但單靠遞迴式改進,並不代表工業生產方式、社會組織或市場運作會立即改變。更高智能無法在幾十年藥物使用之前得知其作用,不能令選舉早於憲法規定的時間舉行,也無法在一個週末內把陌生人變成老朋友。對大多數人而言,即使上游實驗室以算力速度運作,日常感受到的未來步伐仍由瓶頸決定。遞迴式智能愈來愈快地自我建構,卻同時遇上人類、關係和治理構成的世界;這種碰撞也是我們無法預測的未來一環。
我們應該怎樣做?
如果能有效減慢這項技術的發展,讓我們有更多時間應對其深遠影響,我們認為這很可能是好事。但如果減速只讓最不謹慎的參與者在技術上追上來,反而可能令所有人更不安全。若缺乏全球協調機制,公司和政府便要在競爭及地緣政治壓力下,艱難地作出安全決策。
我們認為,世界最好能保留減慢或暫停前沿 AI 發展的選擇,讓社會制度和對齊研究能跟上技術進展。The Anthropic Institute 會與許多團體合作進行研究並採取行動,協助建立可信的減速或暫停所需系統。這些系統可讓前沿 AI 開發者驗證全球其他開發者是否確實停止或減慢發展,並確保不法行為者不能假借協調減速之名,暗中搶先發展。如果有這類系統,我們預期,只要其他處於或接近前沿的開發者也以可驗證方式減速,我們便會減速或暫時暫停。
要有實質成效的減速或暫停,需要多個資源充足、身處前沿或接近前沿的實驗室,在多個國家同意按相同條件停止;亦需要各方能驗證其他實驗室確實已停止。AI 系統有其獨特特性,因此這項軍備控制問題中的可探測性(標準低於可驗證性)比其他技術困難得多。訓練過程比導彈發射井容易隱瞞得多,訓練輸入用途廣泛,而且暗中違約的誘因極大,因為其他人暫停時繼續發展的一方可能取得領先。可信的暫停方案也必須説明甚麼情況會觸發暫停、甚麼情況會解除,以及由誰作出裁決。
這些措施原則上並非不可能:世界曾為其他複雜技術建立核查機制,例如《中程核武條約》;但這些機制花了數十年建立基礎設施和信任。我們沒有這麼多時間。相比之下,由單一實驗室單方面暫停,現在就能做到,但成效小得多:它只會改變誰是領跑者,卻無法建立目前欠缺、更廣泛的審議流程。
未來數月,我們會籌辦對話,讓政策制定者、研究人員、公民社會及其他 AI 公司共同回答本文提出的問題,特別是完整遞迴式自我改進,以及如何創造更好的協調和審議選項。我們會公佈對話成果。共同探討這些問題的時機已到,AI 公司以外的人士亦應參與討論。
本文由 Marina Favaro 和 Jack Clark 合著,Santi Ruiz 提供編輯支援。Shan Carter、Romello Goodman 和 Nikki Makagiansar 根據 Brian Calvert 和 Jun Shern Chan 收集的資料製作視覺圖像。Daniel Freeman、Jim Baker、Max Young、Sarah Pollack、Francesco Mosconi、Holden Karnofsky、Andy Jones、Kevin Troy、Chloe Lubinski、Anton Korinek、Meg Tong、Andrew Ho、Dan Altman、Drake Thomas、Jack Shen、Sasha de Marigny 和 Avital Balwit 提供意見。
2026 年 9 月 18 日更新

- METR 的主要指標顯示,AI 系統在一組任務中達到 50% 可靠度時,可處理的任務時長;若可靠度為 80%,趨勢線看起來也相同。
- 基準測試轉向較開放式格式和較困難的任務(例如奧林匹克級數學)時,往往會在低於 100% 時已達飽和,因為題目和答案集可能有錯誤,例如題目説明含糊或問題本身無解。
- Anthropic 領導層曾公開估計,我們至少 90% 的程式碼由 Claude 編寫,包括指令碼和實驗程式碼。我們的「超過 80%」數字,衡量合併至生產環境的程式碼行中可歸因於 Claude 的比例。這項衡量方式更為保守,原因有二:歸因流程仍有缺口;而未歸因於 Claude 的行數,也包括自動生成程式碼和其他非人手編寫的產物。
- 程式碼產量暴增,正對所有人共用的基礎設施造成壓力。全球大部分軟件都建基於 GitHub;2025 年全年約有 10 億次程式碼提交,而到 2026 年年中,每週已達 2.75 億次,按此速度全年約為 140 億次。GitHub 營運總監表示,公司正「竭盡全力」提升容量,才能跟上需求。
- 有關這項調查方法的更多詳情,請參閲 Claude Opus 4.7 System Card 第 2.3.5 節。
- 許多受訪者可能沒有仔細思考如何處理問題定義中的各種偏差或細節;METR 最近的研究顯示,開發者對 AI 生產力提升的估算可能偏高。
- 加速幅度很大程度取決於起始程式碼還有多少改善空間,不應視為真實世界的訓練加速幅度。因此,不應把絕對倍數當成主要指標。更有參考價值的是這項實驗配置所提供的同類比較:既可比較不同模型(過去一年約由 3 倍升至 52 倍),亦可與熟練人類比較(同一任務需四至八小時達到約 4 倍加速)。
- 為檢查評審偏差,我們在另一組 127 個時刻重跑相同測試;這些時刻中,人類的下一步已相當不錯(相較之下,原有組別的人類方向仍有改進空間)。在這組測試中,模型建議只有約 20% 的時間被評為較佳。
* 本文引用的 Anthropic 員工言論來自內部討論,並已獲許可使用。它們反映個人截至 2026 年 5 月的看法,並非公司官方立場。
來源:Anthropic:The Institute · anthropic.com