跳到正文
GitHub Blog · AI & ML· Michelle Zhou·· 2026-10-05精選AI 評分63

GitHub 推出 ReviewBench,作為 AI 程式碼審查開放基準

ReviewBench: An open benchmark for AI code review

AI 導讀

GitHub 推出 ReviewBench,作為評測 AI 程式碼審查智能體的離線基準,研究預覽版已可透過網站使用。

推薦理由

ReviewBench以219個跨19種語言的公開PR建立評測集,並公開多來源標註與評分方法;資深工程師判斷與基準的一致率為96.6%。

正文 · 繁體中文

代理式程式碼審查正逐漸成為開發流程的重要一環。它可協助你檢查 pull request、找出問題,並在程式碼正式發佈前判斷哪些事項值得跟進。

不過,現有 AI 審查工具的質素往往難以衡量;要知道某個審查工具能否幫上忙,首先要了解它的強項。有些工具會找出較多問題,有些雜音較少;有些善於發現嚴重問題,另一些亦會指出較細微的改進空間。你的工作流程可能需要程式碼審查處理不同類型的任務。

因此,我們必須瞭解不同審查工具的實際表現:各自能發現甚麼、會漏掉甚麼,以及取捨如何。優秀的程式碼審查基準測試應反映真實 pull request 的多樣性,涵蓋廣泛的審查發現,並支援按嚴重程度、類別,以及精確率與召回率偏好作有意義的分析。對開發程式碼審查代理的團隊而言,基準測試亦應提供可靠的離線指標,預測改動是否有望改善正式環境中的體驗。現有基準測試往往要在標籤質素、涵蓋範圍和真實性之間取捨,因此仍缺少一套嚴謹、可重現的評估方法,能把這些要素結合起來。

為填補這個空缺,我們建立了ReviewBench,一個全新的程式碼審查離線基準測試,現已開放使用。它參照 GitHub 超過 100 million 個真實 pull request,模擬其語言、程式碼庫規模及 pull request 大小分佈。它採用多來源黃金標準集和一致的評估準則,並經資深工程師獨立驗證。同樣重要的是,藉助 ReviewBench,我們對 Copilot 程式碼審查(CCR)的離線評估更能預測正式環境實驗的走向,令我們更有信心,確定量度到的改善確實能為用戶帶來實際好處。

本文會介紹 ReviewBench 的構建方式、如何建立可靠的真實標準和評分方法,以及如何加入你自己的程式碼審查系統並提交結果。

本文用語定義

  • 基準測試(Benchmark):使用相同評分方法,在一組共通 pull request 上測試程式碼審查工具的標準化評估。
  • 發現(Finding):程式碼審查時指出的具體問題。
  • 黃金標準集(Golden set):每個 pull request 經驗證的已知問題集合,用作評估審查工具能否找出或漏掉相關問題的參考。
  • 精確率(Precision):審查工具指出的問題當中,有效問題所佔的比例。精確率越高,通常代表雜音越少。
  • 召回率(Recall):已知有效問題當中,審查工具成功找出的比例。召回率越高,代表涵蓋範圍越廣。
  • F1 分數:一個同時平衡精確率和召回率的綜合分數。
  • Fβ 分數:F1 的變體,可按你的審查偏好,讓精確率或召回率佔較大比重。

快速認識 ReviewBench

1

我們打造的基準測試

為 AI 程式碼審查代理而設,貼近實況且全面的基準測試

103.9M

GitHub pull request

按程式語言、程式碼庫規模和改動類型分析分佈。

具代表性的基準測試語料

219 個公開 pull request,涵蓋 19 種語言;分佈與整體 GitHub 相符,同時保留實質的審查案例。

多來源黃金標準集

  • 人工審查者
  • 前沿大型語言模型
  • 靜態分析

結構化問題發現

每項發現均按嚴重程度和類別標記,方便用戶按需要篩選分析。

嚴重程度

  • 嚴重
  • 中等
  • 輕微

類別

  • 正確性
  • 安全性
  • 可靠性
  • 可維護性
  • 測試
  • ......

評估指標

四項指標分別量度已知問題和新發現問題。

  • 基於已知資料的精確率
  • 基於已知資料的召回率
  • 擴充精確率
  • 擴充召回率

客觀評估

客觀量度改進,並比較不同代理,協助用戶選擇最符合需要的審查工具。

2

如何確保值得信賴

由評估準則、專家驗證到正式環境檢查,全程均可審核

公開評估準則

所有問題發現均採用明確一致的標準。

人工標註的開發集

由資深工程師建立真實標準。

經校準的評分器

與人工判斷保持一致。

統一標註

所有來源均採用相同標準。

公開一致性結果

由專家審核基準測試質素。

全程可審核

96.6% 一致

發佈前,資深工程師獨立標註黃金標準集中的真陽性。

可預測正式環境表現的離線指標

我們會把基準測試的變化與線上實驗對照。

  • 離線指標顯示改善,線上通常也會見到
  • 離線指標顯示退步,線上通常也會見到

ReviewBench 的運作方式

我們的基準測試建基於五項原則:

1. 採用具代表性的 pull request,而非示範資料集

我們分析了 103.9 million 個 GitHub pull request,瞭解真實世界程式碼審查工作的分佈。ReviewBench 包含 219 個 pull request,來自 187 個採用公開開源授權的程式碼庫,涉及 19 種語言;其語言和程式碼庫規模分佈均與整體 GitHub 相當接近。完整基準測試資料集已公開。

我們對這個分佈作出一項刻意調整:語言和程式碼庫規模直接參照 GitHub,但 pull request 大小則較着重適合審查的中型及較大型改動。這可減少極小型單檔改動比例過高的問題,同時保留更多實質的多檔 pull request,因為這些改動最能體現審查質素。

語料集概況:

2. 廣泛蒐集真實標準,並由獨立人員判定

無論是人類還是模型,單一審查者都不可能找出 pull request 中所有值得指出的問題。為建立更全面、可靠的真實問題黃金標準集,我們採用三階段流程:

  • 從不同來源收集候選問題。我們收集真實人工審查者指出的問題、根據作者後續提交推斷的問題、確定性分析工具的結果,以及多個模型系列的前沿大型語言模型所發現的問題。
  • 按語義合併重疊的問題。我們會合併指向同一根本問題的發現,擴大涵蓋範圍,同時避免不同來源意見一致便人為推高黃金標準集的規模,亦不會令它受任何單一來源的盲點所影響。
  • 依據共通準則驗證問題。問題來源不會決定其正確與否;只有確實存在、相關且並非瑣碎的問題,才會計作真陽性。我們使用 Claude Sonnet 5 作為大型語言模型評分器,並以一致的評估準則審核所有提交。為提高透明度和可重現性,我們會公開評估準則,以及用來執行評估的裁判模型。

3. 同時量度已知問題和新發現問題的指標

大部分基準測試都會按固定的黃金標準集計算精確率和召回率。ReviewBench 則提供兩組共六項指標:

  • 基於已知資料的精確率、召回率和 F1 分數只採用現有黃金標準標籤,提供嚴謹而公平的比較:在我們已知的問題之中,代理找出了多少?它指出的問題有多少與已知問題吻合?
  • 擴充精確率、召回率和 F1 分數亦會評估未能與黃金標準集配對的問題。裁判會獨立判斷這些未配對問題屬於真陽性還是假陽性,讓審查工具即使找出黃金標準集內任何來源都未有發現的有效問題,亦可獲得認可。

隨着審查代理能力提升,這個分別會愈來愈重要。固定的黃金標準集必然會逐漸變得不完整,因為系統可能發現其建立者未曾預料的問題。擴充指標讓 ReviewBench 能識別這類表現,而非自動扣分。由於擴充召回率會按各代理發現的問題擴大計算分母,我們以基於已知資料的召回率作為跨系統主要比較指標,並以擴充指標作為個別系統的補充診斷。

4. 可按不同審查偏好調整評估方式

審查體驗並沒有放諸四海皆準的最佳方案。有些開發者只想聚焦嚴重問題,另一些亦重視嚴重程度較低、但不會造成故障的問題。有些人希望涵蓋範圍廣,另一些則優先追求高精確率和最低雜音。亦有人有特定需要,例如專注安全或私隱的審查。

ReviewBench 讓用戶按嚴重程度和類別篩選結果,並以精確率和召回率反映不同的取捨。用戶亦可調整 Fβ 分數中的 β,讓召回率佔較大比重以擴大涵蓋範圍,或提高精確率以減少雜音。偏好改變時,排行榜亦會相應重新排序,協助用戶找出最符合審查重點的系統。

5. 經內部審核,並以可重現方式評估

發佈前,我們邀請沒有參與建立基準測試資料集的資深工程師,從頭開始獨立重新標註每項真實標準問題。他們對真陽性和假陽性的判斷,與 ReviewBench 有 96.6% 一致。我們會為每次評估所用的基準測試資料集、裁判和比對器設定版本,令結果可以在相同基準設定下比較,並在基準更新時重新驗證。我們亦公開驗證方法、一致性量度結果和已知的效度威脅,讓讀者瞭解我們如何評估基準質素,以及哪些地方仍存在不確定性。

探索 ReviewBench

ReviewBench 的研究預覽版現已在ReviewBench 網站推出。你可瀏覽完整基準測試、比較程式碼審查代理,亦可提交自己的代理進行評估和反覆改進。

使用 ReviewBench,你可以:

  • 瀏覽完整基準測試資料集。完整的 ReviewBench 資料集已公開,包括 pull request、問題發現、標籤,以及嚴重程度和類別標註。你可仔細檢查各系統實際接受評估的內容,並重現基準測試結果。
  • 在排行榜比較系統。使用完整基準資料評估的程式碼審查代理,其結果會列於共通排行榜,並可按整體表現、嚴重程度、類別,以及不同的精確率與召回率偏好查看。
  • 提交自己的代理,逐步改進表現。完整基準測試資料集、評估方法、大型語言模型裁判提示詞、裁判模型設定和自助執行工具均已公開。你可評估自己的程式碼審查代理、檢視其強項和不足,並按相同基準設定反覆改進。

我們如何運用 ReviewBench

我們透過Copilot 程式碼審查(CCR)的多次迭代運用 ReviewBench,以一致方式量度進展、發現退步,並優先處理有潛力的改動。這有助我們逐步改善產品。ReviewBench 最有價值的好處之一,是能在離線環境及早預測產品改動在正式環境的可能表現。在進行 A/B 測試之前先用 ReviewBench 評估的多項實驗中,離線結果一向與之後正式環境的走向一致。

近期一項輕量級版本實驗,具體展示了這個趨勢。我們引入多模型集成審查,把多次獨立模型運行的結果合併成單次審查,而非只依賴一次運行。ReviewBench 預測精確率、召回率和評論數量都會增加,而每次審查成本則會下降。

為比較離線和正式環境結果,我們會採用相應的線上指標。「已處理率」是精確率在線上的對應指標,指大型語言模型判斷 CCR 評論促使開發者作出相應程式碼改動的比例;判斷時會考慮差異內容、討論串、反應、解決狀態,以及審查後的程式碼。至於召回率,我們會量度仍需多少額外人工審查。

線上 A/B 測試的走向與 ReviewBench 預測一致:相對正式環境對照組,已處理率(精確率)上升 8.0%,召回率上升 13.6%,評論數量上升 61%,而每次審查成本下降 8.0%。

不過,評論數量本身並不能反映評論質素。嚴重問題的增加,與低嚴重程度的小瑕疵增加,意義截然不同。ReviewBench 按嚴重程度評估亦捕捉到這點:它預測嚴重評論會增加 227%,線上實際則增加 262%;同時,較中等程度評論佔比上升、瑣碎評論減少的整體趨勢亦一致。

這讓我們在進行正式環境實驗前,便能取得快速而可重複的指標。線上實驗仍然是衡量用戶影響的最終依據,但 ReviewBench 讓我們更有信心選出值得進一步測試的改動。

如何提交自己的測試結果

  1. 使用 GitHub 帳戶登入,然後前往 ReviewBench 網站。
  2. 登記你的代理。提供容器映像、設定和你自己的模型金鑰;裁判由我們提供。
  3. 先在測試集試跑。使用包含 25 個 PR 的測試集執行,查看每個 PR 的詳細結果,並在調整設定時重複測試。
  4. 進行最終測試。準備就緒後,以每個參賽項目相同的裁判,對完整 219 個 pull request 執行三輪評分。
  5. 發佈至排行榜。在維護者審核並批准提交前,你的分數會保持私密。只有成績超越該代理目前的排行榜分數,或是該代理首次登上排行榜,分數才會公開。

歡迎你探索 ReviewBench、評估自己的系統、檢視我們的假設,並協助改進基準測試。我們期待與研究人員和業界實踐者合作,令程式碼審查評估更開放、可靠和實用,並最終推動 AI 程式碼審查向前發展。

鳴謝

ReviewBench 是 GitHub 和 Microsoft 團隊共同完成的成果。我們感謝參與建設的研究人員和工程師:包括設計方法、整理 pull request、建立黃金標準集和評估流程,以及令任何人都能執行這項基準測試的團隊成員。

文章《ReviewBench:AI 程式碼審查的開放基準測試》最先刊載於The GitHub Blog。

來源:GitHub Blog · AI & ML · github.blog