評測來源官方評測
LiveBench · 語言與指令
LiveBench · Language + IF 兩項均分,各佔 50%。
在 ATech Hot 中參與排名
評測權重3%
來源資料更新時間11/20 02:01
最近成功同步11/22 02:05
它測什麼,怎麼測
先分別計算 Language、IF 的分類成績,再各佔 50% 求平均,最後保留一位小數。兩項均分與官網單獨選擇某一類的成績不同。Language 衡量語言理解,IF 衡量指令與格式約束,不據此評價小説文筆。
如何使用這份證據
保留綜合榜寫作與表達預算中的 3%;不進入文學創作的寫作分類。
評測成績
按固定規則,每個公開模型採用一套用作比較的設定;沒有可採用設定的模型標為未計入並寫明原因。匿名測試型號不展示,保留原榜名次,每項最多 30 個。
| 原榜名次 | 原榜型號 | 原始成績 | 用作比較的設定 |
|---|---|---|---|
| 1 | gemini-3.8-flash-highGoogle | 84.6% | High 推理 |
| 2 | claude-fable-5-max-effortAnthropic | 83.2% | Max 推理 |
| 3 | gemini-3.7-flash-highGoogle | 82.7% | High 推理 |
| 4 | gpt-6-astra-maxOpenAI | 82.5% | Max 推理 |
| 5 | gemini-3.1-pro-preview-highGoogle | 82.2% | High 推理 |
| 6 | gpt-6.1-sol-maxopenai | 82.1% | Max 推理 |
| 7 | claude-fable-5-1-max-effortAnthropic | 81.2% | Max 推理 |
| 8 | muse-spark-1.3-xhighMeta | 80.4% | xHigh 推理 |
| 9 | gemini-3.5-flash-highGoogle | 80.1% | High 推理 |
| 11 | gpt-5.6-sol-maxOpenAI | 79.8% | Max 推理 |
| 12 | gemini-3.6-flash-highGoogle | 79.6% | High 推理 |
| 13 | gpt-5.5-xhighOpenAI | 79.0% | xHigh 推理 |
| 14 | kimi-k3Moonshot AI | 78.4% | 來源預設配置 |
| 15 | muse-wonder-1.0-max— | 78.0% | Max 推理 |
| 16 | grok-4.6xAI | 77.8% | 來源預設配置 |
| 17 | grok-4.7-xhighxAI | 77.7% | xHigh 推理 |
| 18 | smaug-agenticAbacus.AI | 77.7% | 來源預設配置 |
| 19 | grok-4.5xAI | 77.2% | 來源預設配置 |
| 21 | gpt-6-sol-maxOpenAI | 76.9% | Max 推理 |
| 22 | qwen3.7-maxAlibaba | 76.9% | 來源預設配置 |
| 23 | qwen3.8-maxAlibaba | 76.9% | 來源預設配置 |
| 24 | muse-spark-1.2-xhighMeta | 76.4% | xHigh 推理 |
| 25 | gpt-5.4-xhighOpenAI | 76.4% | xHigh 推理 |
| 27 | claude-opus-5-max-effortAnthropic | 76.2% | Max 推理 |
| 28 | claude-opus-5-5-max-effortAnthropic | 76.0% | Max 推理 |
| 29 | qwen3.8-flash-nextAlibaba | 75.9% | 來源預設配置 |
| 30 | claude-opus-4-8-max-effortAnthropic | 75.8% | Max 推理 |
| 31 | deepseek-v4-flash-vision-expDeepSeek | 75.7% | 來源預設配置 |
| 32 | deepseek-v4.1-flash-maxDeepSeek | 75.6% | 來源預設配置 |
| 33 | smaug-miniAbacus.AI | 75.5% | 來源預設配置 |
評測侷限與數據署名
兩項均分衡量組合表現,不能當成 Language 單項成績。官方頁面切換分類或是否包含微調模型時,分數與排序會隨之變化。組織參與方 Abacus.AI 同時開發 Smaug 模型,其獨家成績需要其他獨立來源補充。
數據許可:Apache 2.0
分項成績由 LiveBench 發佈,AIHOT 按上述兩類等權彙總並排序。兩項均分與 AIHOT 共識指數使用不同尺度,不能直接相加。