跳到正文
OpenAI News·· 2 天前精選AI 評分72

OpenAI 公佈研究加速報告,指出 AI 研發能力提升不均

Research acceleration: The jagged frontier

AI 導讀

OpenAI 公佈內部研究加速報告,指出編碼智能體可獨立完成更多研究任務,但能力提升因工作類型而異,人類仍是 AI 研發流程的重要部分。對估計需人類工作 2 至 4 小時的任務,無人介入成功率由 3 月的 23% 升至 10 月的 46%;監察訓練運行任務的成功率為 79%,編寫推理及服務堆疊程式碼則為 25%。

推薦理由

報告把智能體使用、研究員工作流程與模型能力指標放在同一框架,並呈現自動化成效在不同任務上的明顯落差。

正文 · 繁體中文

研究加速:鋸齒狀前沿

簡介

簡介

今年以來,AI 系統的能力不斷提升,或許也因此更有能力參與 AI 研究與開發。今天,我們根據內部數據,更新 OpenAI 的研究加速情況,説明編碼 Agent 如何加快並改變 AI 開發週期。

以下是我們最重要的發現:

  • Agent 現在可以自主完成近一半預計需人手兩至四小時的研究任務,但人類仍是 AI 開發的核心。 從 3 月到 10 月,預計需人手兩至四小時的任務,估算成功率由 23% 升至 46%;預計需人手四至八小時的任務,估算成功率則由 13% 升至 35%。不過,工作類型會影響結果。例如,按任務分類,自主 Agent 監察訓練作業的成功率為 79%,啟動訓練作業的成功率為 35%,而為推理及服務堆疊編寫程式碼的成功率則為 25%。整體而言,能力提升並不均衡,而人類仍是 AI 研究循環中的核心一環。
  • Agent 使用量急升,使用量最高的用戶更進一步領先。按 API 公開定價計算,研究人員每日使用量的中位數在 10 月達到 $2,400,較 9 月上升 62%。第 90 百分位數則達到 $23,000,較 9 月上升 105%。一項調查也反映研究人員有多重視這些工具。當被問到為了保留前沿編碼 Agent 三個月,願意拿甚麼交換時,回答的中位數是團隊運算資源的 30%;另一條獨立問題的回答中位數,則是團隊人手的 40%。
  • 研究人員投入愈來愈多的人力於安全與對齊,這是 OpenAI 所有主要研究範疇中,有記錄的研究工作增幅最大的範疇。安全與對齊範疇有記錄的研究工作週數由 1 月至 9 月增加 77%,原因包括新聘人手,以及現有研究人員轉而投入這些工作方向。我們在 2026 年 7 月回應Hugging Face 事件⁠後,增幅明顯加快。

本報告以我們 9 月發表的OpenAI 研究加速⁠網誌文章為基礎,加入新的量化及質化指標,探討(1)AI 在不同研究範疇帶來的提升,以及(2)人類如何繼續參與研究過程。整體而言,我們相信這次更新呈現了更全面、但仍不完整的 OpenAI 研究變化情況。

我們分享這項研究,是因為正如我們在前沿政策藍圖⁠⁠中所寫,並在首份研究加速報告⁠中重申,我們認為 AI 實驗室應被要求追蹤並公開報告遞歸式自我改進(RSI)的指標——即 AI 加速開發未來 AI 系統的過程。

隨着 AI 能力提升,AI 驅動的研究大幅加速亦越來越有可能,要維持人類監督並安全地擴展 AI 系統⁠,我們需要解決新的技術及治理問題。因此,透明披露 RSI 指標對於公眾討論日益強大的 AI 所具備的能力、風險及所需保障措施至關重要;不過,不應將我們的報告解讀為有意追求全面 RSI。我們欣見最近有數個其他組織為衡量 AI 研發加速而不斷擴大的研究成果作出貢獻1。我們希望這份擴充報告有助維持並推動業界共同採用這些衡量規範。

本報告分為三個部分,各自聚焦 AI 研究的不同方面:

  1. AI 研究的投入(我們聚焦程式碼 Agent;其他投入包括數據、人力及算力)
  2. 研究人員將這些投入轉化為模型能力的過程(AI 研究)
  3. AI 研究過程所產生的成果(模型能力的提升)。

我們認為,以這種方式整理結果,能為思考 AI 如何應用於研究,以及這種應用如何有助提升模型能力,提供一個實用框架。

投入

AI 研究會用到多種投入,包括數據、AI 工具(例如程式碼 Agent)、人力及算力。本報告聚焦 AI 工具作為研究投入的角色。具體而言,我們記錄程式碼 Agent 的使用強度如何因團隊而異,以及隨時間如何變化。此外,雖然我們沒有直接報告人力成本的變化,但會檢視研究人力開支佔總支出的比例,如何隨時間相對於其他因素的開支而變化。

內部 Agent 使用情況

自首份報告⁠發布以來,研究部門內 Agentic AI 的使用量持續呈指數增長。按 API 標價計,研究人員每日使用 Agentic AI 工具的支出中位數現約為 $2,400 USD;第 90 百分位數研究人員每日的支出現約為 $23,000 USD,較 9 月的 $1,500 及 $11,000 分別上升 62% 和 105%。2 Agentic AI 使用量上升的趨勢涵蓋多種變化,包括使用活動增加、轉用價格較高的模型,以及模型行為和 Agentic harness 的變化。

中位數

每位研究人員在 Codex、ChatGPT Work & Dots 的支出

第 90 百分位數

每位研究人員在 Codex、ChatGPT Work & Dots 的支出

查看方法

Agent 工作日

接下來,我們會探討每位研究人員每日平均有多少個「Agent 工作日」;我們將每八小時的 Agent 使用時間定義為一個 Agent 工作日。與 Agentic AI 支出相比,Agent 工作日更能反映 Agent 實際工作的「實際經過時間」,但不會考慮模型能力或價格的變化。

整體而言,每位研究人員的代理工作日由 0.5 天增至 5.7 天,增加了 11 倍;增幅最大的團隊專注於預訓練和後訓練。在這些團隊中,每位研究人員每天的代理運行時間平均約為 8 個工作日。擴展和基礎設施團隊的平均值則約為 4 個工作日。請注意,這項工作日指標一般只計算互動式使用,因此可能低估自動化工作的情況。

查看方法

同時使用的代理

我們的9 月分析⁠指出,研究人員越來越常同時使用多個代理,包括子代理和多個工作階段。我們進一步延長分析時段,並採用更細緻的分組方式。到 10 月中,納入分析的研究人員中,超過三分之二平均每天的代理數量峯值至少有 4 個同時運作;超過 10% 的研究人員平均每天至少有 16 個代理同時運作。

查看方法

內部代理使用量相對於人力成本

接下來,我們比較每月使用代理式 AI 的 API 等值開支,以及研究人員每月不包括股權的薪酬。我們追蹤這個比率,以瞭解隨着模型能力提升,代理與人力之間的資源分配如何變化。雖然我們報告的比率不包括股權,而股權一般佔 OpenAI 研究人員目標薪酬的 70% 至 80%,但我們認為,這仍能部分反映這項開支分配,並提供有用資訊。

截至 2026 年 9 月,OpenAI 研究部門使用代理式 AI 的 API 等值金額約為其不包括股權的薪酬的兩倍;預訓練和後訓練的比率高於研究部門的其他範疇。儘管如此,結合內部 Codex、ChatGPT 和 API 使用量的內部部署,只佔研究運算總量的 2%。

人力成本包括薪金、加班費、獎金、福利和僱主税項。研究人員的目標薪酬一般有 70% 至 80% 來自股權,這部分不計算在內。

查看方法

研究人員如何分配時間

最後,我們探討研究人員如何在不同研究範疇分配時間。首先,我們收集研究人員個人層面的貢獻資料,包括 2026 年 1 月至 9 月的公司內部公開 Slack 貼文、拉取請求和內部文件。接着,我們使用分類器將這些貢獻歸入不同研究範疇,並將每位研究人員每週的時間平均分配至其該週經核實的項目。這可作為研究人員將注意力投放在哪些範疇的指標。

重要的是,與其他分析不同,我們在此分類的「研究範疇」並不對應正式的匯報架構。例如,一位隸屬後訓練團隊的研究人員,若有一半時間用於改善基礎設施,我們便會估算其半個工作週投入「擴展/基礎設施貢獻」,另半個工作週投入「後訓練貢獻」。即使研究人員沒有正式轉隊,這種做法仍能穩健地衡量他們實際投入時間的範疇。

我們發現,2026 年以來,研究人員投放於我們辨識出的各個範疇的時間均有所增加。值得注意的是,採用這套方法後,我們發現「安全與對齊」在所有研究範疇中的絕對增幅最大;自年初以來,記錄到的工作週投入量幾乎翻倍,原因是新聘研究人員加入,以及現有研究人員把工作重心轉向安全項目。這個研究範疇涵蓋對齊評估、可監察性和獎勵駭客行為研究等工作。我們量度到「安全與對齊」增長的一個顯著轉折點,與 7 月 Hugging Face 事件⁠後的情況相吻合;此後,OpenAI 亦着手為前沿 AI 訓練制定並改進安全論證⁠。

我們注意到,各研究範疇之間的界線並非簡單明確,尤其是後訓練與安全及對齊之間的區分;我們日後或會修訂相關定義。下文的方法部分列出了高層次工作範疇的例子。

查看方法

流程

為更深入瞭解 Agent 的使用可能如何影響研究生產力,我們接着探討 OpenAI 進行 AI 研究的流程如何改變。新技術帶來的生產力提升,部分取決於工作如何圍繞這些技術重新安排。隨着 Agent 改進,研究人員可能會改變委派予 AI 的任務、監督及協調 Agent 工作的方式,以及選擇進行的項目。下文列出 AI 如何改變 OpenAI 進行 AI 研究流程的量化及質化指標。這些不同類型的數據結合起來,勾勒出研究人員如何圍繞 Agent 重新安排工作,以及目前如何繼續參與其中的(部分)概況。

研究活動指標

委派給模型的任務及成功率

我們的9 月分析⁠顯示,智能體在無需人手介入下成功完成任務的可能性有所上升,當中包括估計需要人類數小時工作的任務。採用更新的方法(見下文的方法部分)後,我們發現這個趨勢大致持續。重要的是,隨着智能體能力提升,研究人員亦可能改變了在各個時長組別中委派的任務類型。因此,這些組別中的零介入成功率變化,可能同時反映智能體能力提升,以及研究人員對何時及如何使用智能體的選擇有所改變。

查看方法

除了按估計所需時間分析這些趨勢外,我們亦研究研究人員可能選擇委派的不同類型任務,其成功率有何差異。我們採用 Epoch AI 開發的 O*NET AI R&D taxonomy⁠(在新視窗開啟),按類別及任務列出估計成功率。不出所料,結果顯示模型在各類任務上的表現並不相同:例如,從 2026 年 8 月 1 日至 2026 年 10 月 18 日,在沒有人工介入的情況下,模型執行「溝通」(69%)和「分析」(58%)任務的估計成功率,高於「建構」(43%)。在個別任務層面,監察執行作業有否出現問題(79%)及回答技術問題(72%)等任務的估計成功率較高;撰寫推理及服務堆疊的程式碼(25%),以及建立評估、強化學習和 Agent 環境(29%)等任務的估計成功率則較低。只要模型在 AI R&D 相關任務上的表現存在差異,表現較弱的類別和任務便可能成為整體效能提升的瓶頸。

查看方法

查看方法

研究人員會將 Agent 用於哪些任務

我們在9 月的分析⁠中,使用相同的 O*NET AI R&D taxonomy⁠(在新視窗開啟),報告研究人員使用 AI 的情況如何按輸出 token 數分佈。以下則列出研究人員使用編碼 Agent 執行個別任務的頻率。這種呈現方式相對較着重回答技術問題等較短的任務,而非啟動及監察訓練作業,或實作複雜功能等大量消耗 token 的任務。

查看方法

研究人員對 AI 使用的看法

接下來,我們會探討研究人員對 AI 如何改變其工作的評估。我們透過問卷調查和訪談,瞭解研究人員如何評價編碼 Agent、如何構思研究點子,以及他們如何調整工作流程。

研究人員自述的編碼 Agent 價值

2026 年 8 月下旬至 9 月上旬,我們向 101 名研究人員進行問卷調查,以瞭解 AI 帶來的效能提升,並以以下假設情境為核心:「假設你們團隊使用所有優於 GPT-5.2 的編碼 Agent 的權限,在未來 3 個月內被撤銷。你願意付出多少代價,以恢復使用前沿編碼 Agent?」研究人員願意付出的代價中位數如下:

  • 團隊人手的 40%
  • 團隊目前運算資源的 30%
  • 如果在 2027 年 1 月提出這個問題,則為團隊運算資源的 50%(考慮到他們對模型到 2027 年會如何進步的預期)

研究人員亦表示,如果不能使用編碼 Agent(即只可以使用 GitHub Copilot + ChatGPT),他們的團隊平均需要三個月,才能完成與上個月工作價值相等的工作。雖然必須留意自我報告的準確性可能存在問題,以及我們的問卷抽樣策略帶有臨時性質,但這些結果與研究人員認為 AI 為其工作帶來顯著價值的説法一致。

長條顯示各範圍答案所佔的加權比例。虛線標示加權中位數。

查看方法

在10月下旬進行的另一項調查中,我們亦詢問受訪者,與使用我們最新的內部模型,或同時獲得一位職涯中期的人類研究工程師及一個 2024 年模型(例如 o1-preview)的協助相比,他們預期哪種方式能令日常工作更有效率。28 名受訪者中有 27 名選擇或傾向選擇最新的內部模型。餘下的一名受訪者沒有在題目所列的兩個選項中作出選擇,並表示會選擇 GPT-6 Astra,而非有人類協助的選項。

大型構想從何而來

我們亦有興趣追蹤 AI 驅動的構想生成進展,因為發展及評估概念性研究構想的能力(研究品味)可能會成為遞迴式自我改進的瓶頸。為了衡量這一點,我們請三個領域(預訓練、後訓練和安全監察)中各一至四位作出關鍵貢獻的研究人員,列出一至三個他們認為對 GPT-6 Astra 和 GPT-6.2 Astra 版本最重要的構想。然後,我們詢問這些構想如何產生,以及 AI 在構思過程中發揮了甚麼作用(如有)。

就這兩個版本而言,後訓練和安全監察研究人員表示,據他們所知,他們提到的所有構想都由人提出,模型則協助實現。預訓練研究人員亦表示,他們為 GPT-6 Astra 提出的構想全都由人提出。

至於 GPT-6.2 Astra,預訓練研究人員表示,他們在與 Codex 對話時發展出一些構想。一位研究人員認為,兩人一起推敲構想時,Codex 找出了關鍵見解。另一位則表示,主要構想出自自己,但 Codex 提出一項改動後,這個構想才開始運作良好。

研究工作流程的變化

最後,為了收集有關工作流程變化的質性證據,我們亦訪問了十位來自預訓練、後訓練和安全領域的研究人員,瞭解他們如何使用 Agent。訪談中浮現了五個主要主題,現概述如下:

  • 研究人員使用 Agent 編寫程式碼、除錯及監督實驗:

    • 「我曾經移植過一個開源評測項目,當時要進行研究和消融實驗,判斷『這是不是一個好的評測項目』,涉及的工作多得多。要花一週半至兩週,才能真正弄清楚『我們能不能用這個?』但現在,視乎評測項目而定,從零開始到可以執行,可能只需一天,或幾天。」
      —研究人員 7,安全領域,負責評估工作
  • Agent 在研究構想、程式碼品質、數據品質和寫作方面的品味欠佳:

    • 「模型通常無法一次就提出定義清晰、而且自己解決不了的問題。如果你要求模型生成一百次數據點,每次生成的數據點都會很相似。」
      —研究人員 2,安全領域,負責強化學習環境
  • 工作流程需要人類密切參與,以免產出低質素結果及浪費時間:Agent 難以有效率地啟動實驗,會在不必要的步驟上鑽牛角尖、撰寫「AI 垃圾」PR、產生無法使用的數據產物,並在分析中作出不成立的假設。

    • 「我試過説:『照着另一個任務的樣子做這個任務,』但因為結果不完全正確、我還要修改,吃過太多次虧。現在我會説:『先做一個,我會檢查並修改,然後再做其餘的。』」
      —研究人員 1,後訓練領域,負責評估工作
  • 研究人員預期目前的瓶頸領域會有顯著改善:

    • 「我確實認為,在點子的品味方面,我更勝一籌。但我完全沒有信心,這種情況在相當長一段時間內仍會成立。」
      —研究人員 8,預訓練,負責架構及數據工作
  • 研究人員發現,大規模掃描及生成內容可帶來顯著提升:研究人員使用模型掃描數以千計的樣本,以診斷實驗中的問題、標示令人憂慮的模型行為個案,以及建立和品質檢查新數據集。

    • 「我最近做的一件事,是檢視我們所有的數據……我讓它做了幾輪,並校準它提供給我的內容。……它給了我一份整理得井井有條、非常大的表格。……沒有 AI 的話,這會非常痛苦。」
      —研究人員 3,後訓練,負責數據品質

查看方法

產出

除了研究投入和工作流程的變化外,我們也希望瞭解使用 AI 是否正在加快研究進展。為探討這個問題,我們提出三項衡量指標。其中兩項——程式碼行數和研究實驗數量——已納入我們的9 月分析⁠。這些指標容易追蹤,但研究活動指標上升,不一定代表研究進展加快。因此,我們亦引入 OpenAI ECI,這是 Epoch Capabilities Index 的 OpenAI 專屬內部版本。Epoch Capabilities Index 是追蹤模型能力變化的一種方法,可更直接衡量研究成果。

已修改的程式碼行數

我們首先報告每名活躍貢獻者隨時間修改的程式碼行數。相較於 2025 年前的平均值,這項指標在 2026 年期間持續大幅上升。請注意,自9 月分析⁠以來,我們已更新數項方法。現在我們展示 28 天滾動平均值,而非季度平均值,讓大家更仔細地觀察變化。此外,我們亦修訂了納入統計的程式碼變更準則(尤其是排除測試),詳情請參閲方法。

查看方法

研究實驗

與9 月報告⁠一樣,我們亦追蹤每名活躍實驗人員隨時間進行的實驗數量。截至 October 18 的四週內,每名活躍實驗人員的記錄實驗數量平均為 2025 年基準的 1.68 倍。

查看方法

OpenAI ECI

最後,我們報告一項旨在衡量模型能力進展的指標。Epoch Capabilities Index⁠(在新視窗開啟)廣泛用於衡量整體 AI 能力的進展趨勢。OpenAI ECI(OECI)的方法與 Epoch 的方法非常相似,但 OECI 結合了公開基準測試和 OpenAI 內部基準測試。在此,我們繪製了 20 個公開發布的 OpenAI 模型及 28 個其他模型的 OECI。

我們發現,自 August 2025 以來,OpenAI 模型的 OECI 前沿每年提升 16.4 點;相比之下,Epoch 觀察到的趨勢是自 2024 年底以來每年提升 14 點⁠(在新視窗開啟)。請注意,OpenAI 模型在 OECI 上相較競爭對手的得分優勢,高於在 Epoch 的 ECI 上的得分優勢,這可能是由於基準測試組合有所不同。

我們計劃繼續監察 OpenAI ECI 及其他頂層能力指標,以判斷能力進展是否因 RSI 而加快。

垂直線表示 90% 自助法區間。趨勢線根據創下紀錄的 9 次 OpenAI 模型發布擬合。

查看方法

結論

整體而言,我們的研究結果延伸了我們在9月報告⁠中呈現的圖景:研究人員更頻繁地使用智能體,委派更多工作,並根據模型的能力和限制調整工作流程。不過,這種提升並未平均出現在所有研究工作流程中,而現時的智能體仍有明顯缺陷。

我們注意到,我們報告的歷史趨勢和指標(當中涉及大量人類與 AI 協作)未必能預測未來由 AI 推動的進展。例如,我們最近看到前沿模型在數學⁠方面取得突然而快速的突破。隨着模型在研究方面愈來愈自主、能力愈強,我們正留意深度學習領域會否出現類似的快速突破。

重要的是,隨着 AI 越來越善於自我改進,競爭壓力和治理挑戰將會增加,而一項關鍵任務⁠是確保人類仍然參與其中。我們希望發布這些數據,能為有關掌控模型能力發展步伐及遞迴式自我改進治理的討論提供參考。

展望未來,我們會繼續完善本報告所用指標背後的方法。我們亦希望擴大報告範圍,在多個方面提供更多資訊,包括但不限於:

  1. 能力研究與安全研究的加速程度差異
  2. 研究加速的領先指標(即無須完成完整的模型開發和評估週期,便能偵測提升幅度的增加)
  3. 整體能力隨時間變化的趨勢,以及 AI 加速研究對這些趨勢的影響

引用

引用

1@techreport{openai2026researchacceleration,2author = {{OpenAI}},3title = {Research acceleration: The jagged frontier},4institution = {OpenAI},5type = {Research report},6year = {2026},7url = {https://openai.com/index/research-acceleration-jagged-frontier/}8}

作者

OpenAI

註腳

  1. 1 雖然實證測量 AI 研發加速的研究仍相對新,但在研究前沿正迅速發展。迄今為止,Anthropic 已獨立發布三⁠(在新視窗中開啟)份不同⁠(在新視窗中開啟)報告⁠(在新視窗中開啟),記錄內部部署模型如何加快 AI 研究進程。Gemini 4 Argon Safety and Security Report⁠(在新視窗中開啟)第 3.4.2 節以實證方式概述 Google DeepMind 內部由 AI 撰寫的程式碼比例日益上升的情況。METR 與 Anthropic 合作發布了一份加速報告⁠(在新視窗中開啟),估算內部 Claude 模型令能力前沿加速的幅度。
  2. 2 OpenAI 研究人員目前沒有智能體編碼配額。

8月21日,OpenAI 在內部部署了一項臨時的 harness 效率改進。我們發現,這次內部部署期間,輸入 token 使用率大幅下降,似乎令有記錄的內部 token 消耗量嚴重偏低。自9月10日起,這項 harness 變更因與 token 消耗無關的原因,在各項內部部署中逐步撤回;我們發現,此後 token 消耗量迅速增加。

來源:OpenAI News · openai.com