跳到正文
原文
OpenRouter:Announcements·· 5 天前AI 評分71

如何在 CI 中以 LLM 評測結果把關 Pull Request

How to Gate Pull Requests on LLM Evals in CI

AI 導讀

OpenRouter 的指南示範如何把固定 LLM 評測集接入 GitHub Actions,並按通過率阻止不合格的 Pull Request 合併。指南建議把評測案例與提示詞一同存入版本庫,以多次抽樣的多數結果評分,並在未變動的 main 分支上重複執行以校準門檻。CI 應在 job 層級按相關檔案觸發,並把路徑篩選 job 和評測 job 都設為必需狀態檢查,以免跳過評測後仍可合併。

來源:OpenRouter:Announcements · openrouter.ai