Cohere Labs提出自適應模型排名評估方法

2026年10月10日，Cohere Labs在官方研究博客介紹一項用於模型排名的人工評估研究。研究把多個模型的人工評估形式化為具相關臂的多臂 bandit 最佳臂識別問題，並提出按中途排名自適應分配評估工作的演算法。這種取樣方式會把標註預算集中於最具競爭力的模型。研究稱，所提演算法具最優性；結果亦顯示，該方法可加快評估、降低成本，並提升對頂尖模型的區分能力。

AI 根據報道生成 · 2 小時前更新

還沒有足夠的連續觀測數據，暫不繪製趨勢。