如何審查 AI 生成程式碼,避免未經核實便批准
How to Review AI-Generated Code Without Rubber-Stamping It
文章提出按錯誤合併的代價為 AI 生成的 PR 分級,並要求審查證據必須對應正在檢視的 commit。中、高風險變更須有獨立驗證;涉及公開 API、SDK 行為、身分驗證及帳單等高風險改動,建議由兩人批准,並指定發佈及回退負責人。文中以付款 SDK 的 POST 重試示例説明,若缺少 Idempotency-Key,超時後重試可能導致重複扣款。
文章把 AI 生成程式碼審查拆成風險分級、綁定提交的證據與獨立驗證,並以付款 SDK 重試示例説明這套方法如何識別測試盲點。
為避免審查 AI 生成程式碼時只是照單全收,應按錯誤合併所造成的代價為每個拉取請求分級。在人手審閲前,先要求提供與確切提交版本掛鈎的證據。任何涉及公開 API、SDK 行為、身份驗證或金錢相關事項的變更,都要指定具名批准者及發佈負責人;發佈負責人亦須負責回滾。證據完整的低風險變更可採用較簡化的審查流程。其餘變更則交由能判斷現有檢查會遺漏甚麼的人員審查。
Anthropic 表示,單是其 monorepo,每日合併的程式碼變更便由 2026 年 5 月約 2,500 項,增至截至 9 月每日超過 30,000 項:around 2,500 code changes merged per day in May 2026 and over 30,000 per day as of September。
在一個討論交付自己不理解的 AI 編寫程式碼的 Ask HN 討論串中,留言者對應否逐行閲讀、增加測試,以及按後果調整審查力度各有看法。第三種做法需要明確的書面規則:甚麼情況屬於高後果、甚麼證據才算數,以及由誰簽署。
簡而言之
- 按每個 AI 生成 PR 修改的檔案路徑分流。Agent 訊號可以提高風險級別,但絕不能降低級別。
- 要求提供與經審閲提交版本掛鈎的證據。證據過時便不得合併。
- 中風險及高風險級別的變更,須有一項獨立驗證依據:由撰寫程式碼的模型以外的來源提供的檢查,例如合約差異、既有測試,或由人員撰寫的測試案例。撰寫程式碼的模型所生成的測試全部通過,證明不了多少。
- 對 API 或 SDK 公司而言,高風險級別涵蓋公開介面合約、SDK 對外介面、身份驗證、計費、CI 工作流程及遷移;這類變更須有兩名批准者及一名具名發佈負責人。
- GitHub 內置功能(code owners、rulesets、required checks)可強制要求程式碼擁有者批准、由最後推送者以外的人員審查,以及所有檢查均通過。其餘要求則由 PR 範本及審核者負責。
審查工作的變化
開發者生產力研究公司 DX 的 Brian Houck 指出,程式碼審查亦是「團隊建立對系統的共同理解的方式。」當作者寫下每一行程式碼時,審核者可以假設作者理解程式碼。若 Agent 同時撰寫程式碼及測試,這個假設便不再成立。thoughtbot 指出,為變更輸入提示詞的人,閲讀測試時可能沒有閲讀實作時那麼仔細。
Anthropic 為其 Claude Code 儲存庫訂下的規則指出,「提示模型作出變更的人要為此負責」,而 Agent 的批准絕不能代替人員批准。OpenSSF 的 AI 程式碼助手指南亦持相同看法:AI 生成程式碼並非跳過程式碼審查、測試或靜態分析的捷徑;你須為它可能造成的任何損害負責。
四項決定仍由人員作出:
- 是否應該作出這項變更,以及「完成」的定義。
- 當變更造成的後果超出其修改路徑所顯示的程度時,應歸入哪個級別。
- 高風險變更的批准。
- 誰負責發佈,以及如何回滾。
將三個審查層次分開
將三種訊號分開處理,因為每種訊號都有各自的失效方式。
確定性檢查
測試、類型檢查、安全及依賴項掃描,以及破壞性變更差異,對同一提交每次都會得出相同結果。對 API 公司而言,合約差異最重要。oasdiff會比較兩份 OpenAPI 規格,而其breaking指令只會顯示會破壞現有 API 用戶端的變更。buf breaking會將你的 Protobuf 結構描述與舊版本比較,並在 PR 留言中報告失敗項目。
留意 GitHub 的一項細節:必要的狀態檢查可以透過成功、已略過或中性的狀態。略過檢查也符合規則,因此請確認該檢查已在正在審核的提交上執行。
AI 審核建議
Cloudflare 為其合併要求建立了 AI 審核工具,並指出該工具「至少以現今的模型而言,尚未能取代人工程式碼審核」。GitHub 表示,Copilot 不保證能找出拉取要求中的所有問題,因此應配合人工審核。預設情況下,Copilot 的審核不計入必要審批。管理員可以在儲存庫、組織及企業設定中啟用此功能。請把這項審批視為適用範圍有限的建議。
人工判斷
Cloudflare 列出了自家 AI 審核工具的限制。靜態差異難以揭示取決於時間或執行次序的競態條件。工具可以標示 API 契約變更,但無法確認所有下游使用方都已更新。
綠色勾號並不能證明語義正確。thoughtbot 警告,如果這樣能令測試通過,AI 可能會為測試原本要驗證的實作建立 stub 或 mock。Formation 指出了一般問題:測試和實作可能都反映同一個誤解,因此驗證需要一個獨立於受測程式碼的判定依據。按照這個標準,第二個模型同意第一個模型的結果,並不構成獨立判定依據。一名 HN 留言者擔心,同一個模型撰寫的程式碼和測試「可能彼此一致,卻仍然漏掉同一個問題」。對於中、高級別,應要求一項獨立判定依據:契約差異、變更前已存在的測試,或由人手編寫的測試案例。
按風險為每項變更分流
Anthropic 的 Claude Code 團隊會把每個拉取要求分為低、中或高級別。自動審核和安全檢查均通過後,低級別無須人工審核;中級別需要一人審核,高級別則需要兩人。分類器會根據變更選定級別。負責人列為敏感的路徑,以及所有 CI 工作流程檔案,均必須由人員審核。只有可信作者可以採用較寬鬆的流程。Cloudflare 會根據差異的大小和性質,把每個合併要求分為三個級別;凡涉及 auth/、crypto/ 或安全相關路徑的變更,一律需要完整審核。兩者各自描述的都是一間公司的儲存庫。
在 API 或 SDK 公司,我們會把公開契約列為首要事項:OpenAPI 或 Protobuf 規格、SDK 的公開介面及預設行為、身份驗證和計費。這些部分若合併錯誤,影響就會波及客戶。
表格是我們參考 Anthropic 和 Cloudflare 的分級後提出的建議。路徑僅作示例,請按你的儲存庫調整。
| 級別 | 變更示例 | 所需證據 | 審批人 |
|---|---|---|---|
| 低 | 文件及文案、僅限內部的變更、由功能旗標控制的增量變更 | 此 commit SHA 上的測試、類型檢查及安全掃描均通過;已填妥 PR 範本 | 提出者簽署確認;在證據品質穩定達標前,另由第二人審核 |
| 中 | 一般產品變更、內部端點、快取 | 低級別所需證據,另加針對失敗情況的測試及一項獨立判定依據 | 一名審核者,且不得是最後推送變更的人 |
| 高 | 公開 API 契約、SDK 公開介面或行為、身份驗證、計費及資金轉移、CI 工作流程檔案、資料遷移 | 中級別所需證據,另加破壞性變更差異、向後相容性説明,以及有時間安排的回復計劃 | 兩人(包括程式碼負責人),另加一名明確指定的發布負責人 |
四項升級處理規則適用於所有級別:
- 根據有變更的檔案路徑設定級別。TradersPost 的系統根據變更路徑設定最低級別,並絕不讀取描述、提交訊息或 Agent 的解釋。
- 讓 Agent 訊號提高級別,但絕不降低級別。用 TradersPost 的説法,負責撰寫變更的 Agent「絕不能降低確定性要求。」
- 跨越多個級別的 PR 採用最高級別。
- 過時的證據會阻止合併。較早提交的證據,或缺失或失敗的檢查,都會令 PR 被退回。Anthropic 對核准也採用相同做法:核准只適用於某一個特定提交。
一個 PR 實例:付款 SDK 中的重試
本例僅供説明,並非發生於任何真實公司。我們為此編寫了一個小型測試 fixture,並在 Python 3.12.16 上使用 pytest 9.1.1 執行兩段程式碼。
審核前附上證據。由真人核准,並由具名的版本發佈負責人發佈變更及負責回滾。
AI Agent 被要求讓付款 SDK 能應對網絡逾時。它在 SDK 的 request 函數加入自動重試:
def send(transport, method, path, body=None, headers=None, retries=2):
headers = dict(headers or {})
for attempt in range(retries + 1):
try:
return transport(method, path, body, headers)
except Timeout:
if attempt == retries:
raise
Agent 的測試模擬 GET 請求逾時一次,然後成功。測試通過,CI 亦顯示綠燈。
不過,這個函數會重試所有方法。試想一個用來建立扣款的 POST 請求。伺服器已提交扣款,但回應送達前連線逾時。SDK 在沒有冪等鍵的情況下再次傳送相同的 POST,伺服器無法判斷這是重試,於是向客戶收取兩次款項。
Agent 的測試只涵蓋 GET 重試;沒有測試非冪等請求,也沒有測試伺服器提交扣款後發生逾時的情況。因此,審核者要求加入以下測試,使用一個模擬付款伺服器:伺服器在首次呼叫時提交扣款,然後在回覆前逾時:
def test_post_retry_does_not_charge_twice():
server = FakePaymentsServer()
send(server, "POST", "/v1/charges", {"amount": 500, "currency": "usd"})
assert len(server.charges) == 1
以建議的變更執行時,Agent 的 GET 重試測試通過,但這項測試以 assert 2 == 1 失敗:產生兩筆扣款。
這項變更有兩項因素令其屬於高級別:它會改變 SDK 的公開行為,而且涉及資金流動。審核者要求修改:只有使用一個 Idempotency-Key 才可重試非冪等請求;該值須在重試迴圈開始前設定,並在每次嘗試時重用。修訂後,兩項測試均通過。
審核者亦要求指定具名的版本發佈負責人,並制定符合 SDK 發佈方式的回滾計劃。git revert 無法影響已安裝已發佈 SDK 版本的客戶。回滾代表發佈修補版本。固定使用有問題版本的客戶,在升級前仍會受該版本的行為影響;回滾計劃會清楚説明這一點。
複製這份 PR 檢查清單
將以下內容貼到你的 pull request 範本。Anthropic 的範本會詢問如何測試變更,以及如何撤銷變更;Agent 可以填寫這些內容,再由提出變更要求的人簽核。
## Intent and acceptance criteria
- [ ] What this change should do, in one or two sentences:
- [ ] How we know it is done:
## Risk tier and why
- [ ] Tier (low, medium, high):
- [ ] Paths or behavior that set the tier:
## Evidence tied to this commit SHA
- [ ] Commit SHA:
- [ ] Commands run:
- [ ] Output (paste or link):
## Failure-oriented tests
- [ ] Tests for the timeouts, retries, bad input, and permission errors that apply:
- [ ] Independent oracle (pre-existing test, contract diff, or human-written case):
## Contract and breaking-change diff
- [ ] OpenAPI or Protobuf diff result:
- [ ] SDK public surface changes:
## Security and dependency changes
- [ ] New or updated dependencies, and why:
- [ ] Auth, secrets, or permission changes:
## Backward compatibility
- [ ] Who breaks if they do not upgrade:
## What the checks would miss
- [ ] Behavior no test or scan covers:
## Approver
- [ ] Name:
## Release owner
- [ ] Name:
## Rollback plan and how fast
- [ ] How to undo (flag, revert, patch release):
- [ ] Time to undo:
何時拆分或拒絕變更
以下任何一項成立時,請退回 PR:
- 它把重構與行為變更混在一起。Google 的審核指引指出,重構通常應獨立成一項變更,並要求邏輯變更附有新增或更新的測試。
- 變更規模大得難以解釋。Google 的指引指出:「100 行通常是 CL 合理的大小,而 1000 行通常太大」,同時容許審核者按情況判斷,並指出小型變更較容易回滾。
- 證據未與正在審核的修訂版本掛鈎。
- 對於中級或高級別變更,測試和程式碼來自同一個模型,而且沒有獨立的測試判定依據。
- 加入無人能解釋的相依套件。
- 沒有回滾方案。
要求把首兩項拆分處理。其餘項目則要求補上缺漏部分。
取捨:關卡可能令瓶頸轉移
這裏每一道關卡都會增加審核前的工作。收集證據需要時間,因此排隊等候的瓶頸可能會由等候審核者轉為等候證據。當同一個模型同時撰寫程式碼和測試時,測試全數通過也可能會讓看似正確的程式碼獲得肯定。
Anthropic 的案例顯示,證據循環可能無止境地持續:一個 CLI PR 一夜之間經過超過五十輪審核和修正,最後由作者叫停。訂立停止規則:經過少量、固定輪數後,由人員查看差異並作出決定。Google 的標準是:只要一項改動「明確改善系統整體的程式碼健康狀況」,即使仍不完美,也應予以核准。
另一個反對意見是,所有 PR 都應像現在一樣逐一審核。一律採用相同的審核方式,會讓重試機制的改動獲得與修正錯字相同的審視。
要評估這些關卡,請留意四項指標:
- 比較等候證據的時間與等候審核者的時間。如果等候證據的時間增加,而等候審核者的時間沒有縮短,該級別的關卡便過於繁重。
- 其後需要回退的低級別變更。每一項都指向應歸入更高級別的路徑。
- 審核者能否説明檢查會漏掉甚麼。Anthropic 指示無法説明的審核者要求進行真正的審核,而非匆忙核准。
- 這些數字是否有變動。Anthropic 表示,目前尚未設有在這些數字變動時收緊核准要求的熔斷機制,因此要手動處理:低級別變更的回退增加時,便將相關路徑上調一級。
四週採用計劃
- 第 1 週:選擇一個儲存庫,並將清單加入其 PR 範本。要求 AI 輔助 PR 填寫證據部分,並記錄哪些欄位仍然空白。
- Week 2: Protect the high-tier paths. Two approvers there meet SLSA Source Level 4's two-party review, which needs two trusted persons, and the uploader can be one of them.
- 為 API 規格、SDK 公開模組、認證、帳單處理、CI 工作流程檔案及遷移檔案新增 CODEOWNERS 項目。PR 修改程式碼負責人所負責的程式碼時,系統會自動向他們發出審核請求;啟用「Require review from Code Owners」後,他們的核準便成為必要條件。
- 在預設分支的規則集中,要求取得程式碼負責人的核準、由最後一次推送者以外的人核准,並通過狀態檢查,包括破壞性變更差異檢查。
- 保留預設選項:當 Copilot 開啟的 PR 未歸屬於任何人時,額外要求一次核准;有新提交時,撤銷過期的核準。
- 第 3 週:套用中級別要求:由最後一次推送者以外的人進行審核,並加入一個獨立判定器。修正大家一直略過的範本欄位。
- 第 4 週及之後:只有在證據質素維持良好時,才讓低級別變更略過第二位人工審核者:欄位填妥、檢查與 SHA 綁定,而且沒有低級別變更需要回退。如果啟用 Copilot 核准,只限所有已變更檔案都符合低級別 glob 模式的 PR。GitHub 最多允許 15 個 glob 模式,而新提交會撤銷 Copilot 的核準,與撤銷人工核准一樣。
常見問題
如何處理自己不理解的 AI 撰寫程式碼?
不要核准。如果你無法説明改動的作用,以及檢查會漏掉甚麼,便要求對方解釋、縮小改動範圍,或安排真正的審核。提出改動的人須為改動負責;若涉及高級別路徑,還須由第二人理解改動。
哪些 AI 生成的改動仍需要人工審核?
中級別改動需要一位人工審核者;高級別改動,例如公開合約、SDK 行為、認證及帳單處理,則需要兩位審核者,並指定一位發佈負責人。即使是低級別改動,仍須有人負責:提出者須簽核證據。
如何審查 AI 生成的變更,而不用讓每個 PR 都等另一位工程師?
在低風險級別,證據可取代第二位審查者。證據質素達標後,低風險級別的變更只要有與其提交版本綁定的檢查,並獲提出 PR 的人簽核,便可合併。你亦可以允許 Copilot 的批准在低風險級別的程式碼路徑中計算在內。如果你的儲存庫要求審批,Copilot 邀請審查其 PR 的人所作的批准不計算在內,因此必須由另一位審查者批准。
程式碼審查成為瓶頸時,我們該怎麼辦?
先從變更規模著手。DX 建議先處理基本問題,包括 PR 是否「小到足以進行有意義的審查」。然後預先要求提供證據,並按風險分流,讓深入的人工審查集中在錯誤合併代價高昂的地方。
本週在一個 PR 上試行
挑選一個尚未合併的 AI 生成拉取請求。為它填寫檢查清單,記下所有證據缺口,並列明批准者和發佈負責人。如果無法列明兩者,請在 PR 合併前指派人選。如欲瞭解一個團隊如何完整實施各風險級別,請閲讀 Anthropic 分享如何解決程式碼審查問題。
來源
- 在 Anthropic 解決程式碼審查問題,Anthropic
- 在 Anthropic 重新設計原始碼控制,Anthropic
- AI 程式碼審查,Cloudflare
- 程式碼審查究竟有何用途,DX
- 關於受保護分支,GitHub Docs
- 規則集可用的規則,GitHub Docs
- 關於程式碼擁有人,GitHub Docs
- 關於 Copilot 程式碼審查,GitHub Docs
- 設定程式碼審查,GitHub Docs
- Copilot 程式碼審查現在可批准拉取請求,GitHub Changelog
- 審查 Copilot PR,GitHub Docs
- 小型 CL,Google Engineering Practices
- 程式碼審查標準,Google Engineering Practices
- oasdiff,GitHub 儲存庫
- 破壞性變更偵測,Buf
- 來源要求,SLSA
- AI 程式碼助理指示的安全指南,OpenSSF
- 如何審查 AI 生成的 PR,thoughtbot
- 合併 AI 生成的程式碼前,如何進行審查,Formation
- 按風險比例審查 AI Agent,TradersPost
- Ask HN:如何處理推出自己不理解的 AI 編寫程式碼?,Hacker News
來源:DEV Community · dev.to
