GitHub 推出 ReviewBench,作為 AI 程式碼審查開放基準
ReviewBench: An open benchmark for AI code review
GitHub 推出 ReviewBench,作為評測 AI 程式碼審查智能體的離線基準,研究預覽版已可透過網站使用。
ReviewBench以219個跨19種語言的公開PR建立評測集,並公開多來源標註與評分方法;資深工程師判斷與基準的一致率為96.6%。
代理式程式碼審查正逐漸成為開發流程的重要一環。它可協助你檢查 pull request、找出問題,並在程式碼正式發佈前判斷哪些事項值得跟進。
不過,現有 AI 審查工具的質素往往難以衡量;要知道某個審查工具能否幫上忙,首先要了解它的強項。有些工具會找出較多問題,有些雜音較少;有些善於發現嚴重問題,另一些亦會指出較細微的改進空間。你的工作流程可能需要程式碼審查處理不同類型的任務。
因此,我們必須瞭解不同審查工具的實際表現:各自能發現甚麼、會漏掉甚麼,以及取捨如何。優秀的程式碼審查基準測試應反映真實 pull request 的多樣性,涵蓋廣泛的審查發現,並支援按嚴重程度、類別,以及精確率與召回率偏好作有意義的分析。對開發程式碼審查代理的團隊而言,基準測試亦應提供可靠的離線指標,預測改動是否有望改善正式環境中的體驗。現有基準測試往往要在標籤質素、涵蓋範圍和真實性之間取捨,因此仍缺少一套嚴謹、可重現的評估方法,能把這些要素結合起來。
為填補這個空缺,我們建立了ReviewBench,一個全新的程式碼審查離線基準測試,現已開放使用。它參照 GitHub 超過 100 million 個真實 pull request,模擬其語言、程式碼庫規模及 pull request 大小分佈。它採用多來源黃金標準集和一致的評估準則,並經資深工程師獨立驗證。同樣重要的是,藉助 ReviewBench,我們對 Copilot 程式碼審查(CCR)的離線評估更能預測正式環境實驗的走向,令我們更有信心,確定量度到的改善確實能為用戶帶來實際好處。
本文會介紹 ReviewBench 的構建方式、如何建立可靠的真實標準和評分方法,以及如何加入你自己的程式碼審查系統並提交結果。
本文用語定義
- 基準測試(Benchmark):使用相同評分方法,在一組共通 pull request 上測試程式碼審查工具的標準化評估。
- 發現(Finding):程式碼審查時指出的具體問題。
- 黃金標準集(Golden set):每個 pull request 經驗證的已知問題集合,用作評估審查工具能否找出或漏掉相關問題的參考。
- 精確率(Precision):審查工具指出的問題當中,有效問題所佔的比例。精確率越高,通常代表雜音越少。
- 召回率(Recall):已知有效問題當中,審查工具成功找出的比例。召回率越高,代表涵蓋範圍越廣。
- F1 分數:一個同時平衡精確率和召回率的綜合分數。
- Fβ 分數:F1 的變體,可按你的審查偏好,讓精確率或召回率佔較大比重。
快速認識 ReviewBench
1
我們打造的基準測試
為 AI 程式碼審查代理而設,貼近實況且全面的基準測試
103.9M
GitHub pull request
按程式語言、程式碼庫規模和改動類型分析分佈。
具代表性的基準測試語料
219 個公開 pull request,涵蓋 19 種語言;分佈與整體 GitHub 相符,同時保留實質的審查案例。
多來源黃金標準集
- 人工審查者
- 前沿大型語言模型
- 靜態分析
結構化問題發現
每項發現均按嚴重程度和類別標記,方便用戶按需要篩選分析。
嚴重程度
- 嚴重
- 中等
- 輕微
類別
- 正確性
- 安全性
- 可靠性
- 可維護性
- 測試
- ......
評估指標
四項指標分別量度已知問題和新發現問題。
- 基於已知資料的精確率
- 基於已知資料的召回率
- 擴充精確率
- 擴充召回率
客觀評估
客觀量度改進,並比較不同代理,協助用戶選擇最符合需要的審查工具。
2
如何確保值得信賴
由評估準則、專家驗證到正式環境檢查,全程均可審核
公開評估準則
所有問題發現均採用明確一致的標準。
人工標註的開發集
由資深工程師建立真實標準。
經校準的評分器
與人工判斷保持一致。
統一標註
所有來源均採用相同標準。
公開一致性結果
由專家審核基準測試質素。
全程可審核
96.6% 一致
發佈前,資深工程師獨立標註黃金標準集中的真陽性。
可預測正式環境表現的離線指標
我們會把基準測試的變化與線上實驗對照。
- 離線指標顯示改善,線上通常也會見到
- 離線指標顯示退步,線上通常也會見到
ReviewBench 的運作方式
我們的基準測試建基於五項原則:
1. 採用具代表性的 pull request,而非示範資料集
我們分析了 103.9 million 個 GitHub pull request,瞭解真實世界程式碼審查工作的分佈。ReviewBench 包含 219 個 pull request,來自 187 個採用公開開源授權的程式碼庫,涉及 19 種語言;其語言和程式碼庫規模分佈均與整體 GitHub 相當接近。完整基準測試資料集已公開。
我們對這個分佈作出一項刻意調整:語言和程式碼庫規模直接參照 GitHub,但 pull request 大小則較着重適合審查的中型及較大型改動。這可減少極小型單檔改動比例過高的問題,同時保留更多實質的多檔 pull request,因為這些改動最能體現審查質素。
語料集概況:
2. 廣泛蒐集真實標準,並由獨立人員判定
無論是人類還是模型,單一審查者都不可能找出 pull request 中所有值得指出的問題。為建立更全面、可靠的真實問題黃金標準集,我們採用三階段流程:
- 從不同來源收集候選問題。我們收集真實人工審查者指出的問題、根據作者後續提交推斷的問題、確定性分析工具的結果,以及多個模型系列的前沿大型語言模型所發現的問題。
- 按語義合併重疊的問題。我們會合併指向同一根本問題的發現,擴大涵蓋範圍,同時避免不同來源意見一致便人為推高黃金標準集的規模,亦不會令它受任何單一來源的盲點所影響。
- 依據共通準則驗證問題。問題來源不會決定其正確與否;只有確實存在、相關且並非瑣碎的問題,才會計作真陽性。我們使用 Claude Sonnet 5 作為大型語言模型評分器,並以一致的評估準則審核所有提交。為提高透明度和可重現性,我們會公開評估準則,以及用來執行評估的裁判模型。
3. 同時量度已知問題和新發現問題的指標
大部分基準測試都會按固定的黃金標準集計算精確率和召回率。ReviewBench 則提供兩組共六項指標:
- 基於已知資料的精確率、召回率和 F1 分數只採用現有黃金標準標籤,提供嚴謹而公平的比較:在我們已知的問題之中,代理找出了多少?它指出的問題有多少與已知問題吻合?
- 擴充精確率、召回率和 F1 分數亦會評估未能與黃金標準集配對的問題。裁判會獨立判斷這些未配對問題屬於真陽性還是假陽性,讓審查工具即使找出黃金標準集內任何來源都未有發現的有效問題,亦可獲得認可。
隨着審查代理能力提升,這個分別會愈來愈重要。固定的黃金標準集必然會逐漸變得不完整,因為系統可能發現其建立者未曾預料的問題。擴充指標讓 ReviewBench 能識別這類表現,而非自動扣分。由於擴充召回率會按各代理發現的問題擴大計算分母,我們以基於已知資料的召回率作為跨系統主要比較指標,並以擴充指標作為個別系統的補充診斷。
4. 可按不同審查偏好調整評估方式
審查體驗並沒有放諸四海皆準的最佳方案。有些開發者只想聚焦嚴重問題,另一些亦重視嚴重程度較低、但不會造成故障的問題。有些人希望涵蓋範圍廣,另一些則優先追求高精確率和最低雜音。亦有人有特定需要,例如專注安全或私隱的審查。
ReviewBench 讓用戶按嚴重程度和類別篩選結果,並以精確率和召回率反映不同的取捨。用戶亦可調整 Fβ 分數中的 β,讓召回率佔較大比重以擴大涵蓋範圍,或提高精確率以減少雜音。偏好改變時,排行榜亦會相應重新排序,協助用戶找出最符合審查重點的系統。
5. 經內部審核,並以可重現方式評估
發佈前,我們邀請沒有參與建立基準測試資料集的資深工程師,從頭開始獨立重新標註每項真實標準問題。他們對真陽性和假陽性的判斷,與 ReviewBench 有 96.6% 一致。我們會為每次評估所用的基準測試資料集、裁判和比對器設定版本,令結果可以在相同基準設定下比較,並在基準更新時重新驗證。我們亦公開驗證方法、一致性量度結果和已知的效度威脅,讓讀者瞭解我們如何評估基準質素,以及哪些地方仍存在不確定性。
探索 ReviewBench
ReviewBench 的研究預覽版現已在ReviewBench 網站推出。你可瀏覽完整基準測試、比較程式碼審查代理,亦可提交自己的代理進行評估和反覆改進。
使用 ReviewBench,你可以:
- 瀏覽完整基準測試資料集。完整的 ReviewBench 資料集已公開,包括 pull request、問題發現、標籤,以及嚴重程度和類別標註。你可仔細檢查各系統實際接受評估的內容,並重現基準測試結果。
- 在排行榜比較系統。使用完整基準資料評估的程式碼審查代理,其結果會列於共通排行榜,並可按整體表現、嚴重程度、類別,以及不同的精確率與召回率偏好查看。
- 提交自己的代理,逐步改進表現。完整基準測試資料集、評估方法、大型語言模型裁判提示詞、裁判模型設定和自助執行工具均已公開。你可評估自己的程式碼審查代理、檢視其強項和不足,並按相同基準設定反覆改進。
我們如何運用 ReviewBench
我們透過Copilot 程式碼審查(CCR)的多次迭代運用 ReviewBench,以一致方式量度進展、發現退步,並優先處理有潛力的改動。這有助我們逐步改善產品。ReviewBench 最有價值的好處之一,是能在離線環境及早預測產品改動在正式環境的可能表現。在進行 A/B 測試之前先用 ReviewBench 評估的多項實驗中,離線結果一向與之後正式環境的走向一致。
近期一項輕量級版本實驗,具體展示了這個趨勢。我們引入多模型集成審查,把多次獨立模型運行的結果合併成單次審查,而非只依賴一次運行。ReviewBench 預測精確率、召回率和評論數量都會增加,而每次審查成本則會下降。
為比較離線和正式環境結果,我們會採用相應的線上指標。「已處理率」是精確率在線上的對應指標,指大型語言模型判斷 CCR 評論促使開發者作出相應程式碼改動的比例;判斷時會考慮差異內容、討論串、反應、解決狀態,以及審查後的程式碼。至於召回率,我們會量度仍需多少額外人工審查。
線上 A/B 測試的走向與 ReviewBench 預測一致:相對正式環境對照組,已處理率(精確率)上升 8.0%,召回率上升 13.6%,評論數量上升 61%,而每次審查成本下降 8.0%。
不過,評論數量本身並不能反映評論質素。嚴重問題的增加,與低嚴重程度的小瑕疵增加,意義截然不同。ReviewBench 按嚴重程度評估亦捕捉到這點:它預測嚴重評論會增加 227%,線上實際則增加 262%;同時,較中等程度評論佔比上升、瑣碎評論減少的整體趨勢亦一致。
這讓我們在進行正式環境實驗前,便能取得快速而可重複的指標。線上實驗仍然是衡量用戶影響的最終依據,但 ReviewBench 讓我們更有信心選出值得進一步測試的改動。
如何提交自己的測試結果
- 使用 GitHub 帳戶登入,然後前往 ReviewBench 網站。
- 登記你的代理。提供容器映像、設定和你自己的模型金鑰;裁判由我們提供。
- 先在測試集試跑。使用包含 25 個 PR 的測試集執行,查看每個 PR 的詳細結果,並在調整設定時重複測試。
- 進行最終測試。準備就緒後,以每個參賽項目相同的裁判,對完整 219 個 pull request 執行三輪評分。
- 發佈至排行榜。在維護者審核並批准提交前,你的分數會保持私密。只有成績超越該代理目前的排行榜分數,或是該代理首次登上排行榜,分數才會公開。
歡迎你探索 ReviewBench、評估自己的系統、檢視我們的假設,並協助改進基準測試。我們期待與研究人員和業界實踐者合作,令程式碼審查評估更開放、可靠和實用,並最終推動 AI 程式碼審查向前發展。
鳴謝
ReviewBench 是 GitHub 和 Microsoft 團隊共同完成的成果。我們感謝參與建設的研究人員和工程師:包括設計方法、整理 pull request、建立黃金標準集和評估流程,以及令任何人都能執行這項基準測試的團隊成員。
來源:GitHub Blog · AI & ML · github.blog