OpenAI News·· 2026-02-23AI 評分48
OpenAI 為何不再評測 SWE-bench Verified
Why we no longer evaluate SWE-bench Verified
AI 導讀
OpenAI 不再評測 SWE-bench Verified,因其日益受到污染,且無法準確衡量前沿編碼進展。分析指出,該基準的測試存在缺陷,並有訓練洩漏;OpenAI 建議採用 SWE-bench Pro。
來源:OpenAI News · openai.com
Why we no longer evaluate SWE-bench Verified
OpenAI 不再評測 SWE-bench Verified,因其日益受到污染,且無法準確衡量前沿編碼進展。分析指出,該基準的測試存在缺陷,並有訓練洩漏;OpenAI 建議採用 SWE-bench Pro。
來源:OpenAI News · openai.com