Python 黃金測試集工具偵測模型靜默漂移

2026年10月16日，DEV Community 發文示範一套只依賴 Python 標準庫的黃金測試集工具，用於偵測託管模型的靜默漂移。做法是採用凍結的測試集、確定性評分器及只追加的 JSONL 紀錄檔，逐欄位精確比較輸出，並在通過率低於設定門檻時令執行失敗。文章建議測試集包含 20 至 40 個經人工核對的案例，預設通過率門檻為 0.9。文章亦指出，這方法不適用於摘要、聊天等開放式生成，也無法提供統計信心。

AI 根據報道生成 · 2 小時前更新

還沒有足夠的連續觀測數據，暫不繪製趨勢。