為何編碼智能體能交付可運作卻不安全的程式碼:LSCBench 中 Claude Fable 5 的 91.1% 與 25.1%
在 LSCBench 測試中,Claude Fable 5 的功能測試通過率為 91.1%,但同時通過安全測試的比例只有 25.1%。基準以 150 個真實漏洞設計 450 項任務,六個智能體共進行 2,700 次測試,其中 66% 產出可運作但仍有漏洞的程式碼。對四個模型加入一句安全要求後,三個模型的安全通過率上升 16 至 22 個百分點,但多數任務仍未通過安全測試。