跳到正文
原文
OpenRouter:Announcements·· 5 天前AI 評分65

如何設定模型信心閾值,將低信心請求轉交較強模型

Confidence Thresholds for Model Escalation Routing

AI 導讀

OpenRouter 的指南説明,如何讓模型回報自評信心分數,並按閾值把低分請求轉交較強模型處理。指南建議用結構化輸出要求模型提供數值信心欄位,再以自有流量中不同分數區間的錯誤率設定閾值;分數適合用來排序,不代表經校準的正確機率。上線後應監察升級比例及未升級回答的錯誤率,並在模型或流量變化時重新調整,同時權衡準確度、成本和延遲。

來源:OpenRouter:Announcements · openrouter.ai