LiveBench · 語言與指令

Name: LiveBench · 語言與指令
Creator: LiveBench

LiveBench · Language + IF 兩項均分，各佔 50%。

在 ATech Hot 中參與排名

證據預算3%

上游數據時間09/30 03:01

最近成功同步10/06 14:05

它測什麼，怎麼測

先分別計算 Language、IF 的分類成績，再各佔 50% 求平均，最後保留一位小數。兩項均分與官網單獨選擇某一類的成績不同。Language 衡量語言理解，IF 衡量指令與格式約束，不據此評價小説文筆。

保留綜合榜寫作與表達預算中的 3%；不進入文學創作的寫作分類。

按固定規則，每個公開模型採用一套代表配置；沒有可採用配置的模型標為未計入並寫明原因。匿名測試型號不展示，保留原榜名次，每項最多 30 個。

原榜名次	原榜型號	原始成績	代表配置
1	gemini-3.8-flash-highGoogle	84.6%	High 推理
2	claude-fable-5-max-effortAnthropic	83.2%	Max 推理
3	gemini-3.7-flash-highGoogle	82.7%	High 推理
4	gpt-6-astra-maxOpenAI	82.5%	Max 推理
5	gemini-3.1-pro-preview-highGoogle	82.2%	High 推理
6	gpt-6.1-sol-maxopenai	82.1%	Max 推理
7	claude-fable-5-1-max-effortAnthropic	81.2%	Max 推理
8	muse-spark-1.3-xhighMeta	80.4%	xHigh 推理
9	gemini-3.5-flash-highGoogle	80.1%	High 推理
11	gpt-5.6-sol-maxOpenAI	79.8%	Max 推理
12	gemini-3.6-flash-highGoogle	79.6%	High 推理
13	gpt-5.5-xhighOpenAI	79.0%	xHigh 推理
14	kimi-k3Moonshot AI	78.4%	來源預設配置
15	grok-4.6xAI	77.8%	來源預設配置
16	grok-4.7-xhighxAI	77.7%	xHigh 推理
17	smaug-agenticAbacus.AI	77.7%	來源預設配置
18	grok-4.5xAI	77.2%	來源預設配置
20	gpt-6-sol-maxOpenAI	76.9%	Max 推理
21	qwen3.7-maxAlibaba	76.9%	來源預設配置
22	qwen3.8-maxAlibaba	76.9%	來源預設配置
23	muse-spark-1.2-xhighMeta	76.4%	xHigh 推理
24	gpt-5.4-xhighOpenAI	76.4%	xHigh 推理
26	claude-opus-5-max-effortAnthropic	76.2%	Max 推理
27	claude-opus-5-5-max-effortAnthropic	76.0%	Max 推理
28	qwen3.8-flash-nextAlibaba	75.9%	來源預設配置
29	claude-opus-4-8-max-effortAnthropic	75.8%	Max 推理
30	deepseek-v4-flash-vision-expDeepSeek	75.7%	來源預設配置
31	deepseek-v4.1-flash-maxDeepSeek	75.6%	來源預設配置
32	smaug-miniAbacus.AI	75.5%	來源預設配置
33	deepseek-v4-pro-0813DeepSeek	74.9%	來源預設配置

評測侷限與數據署名

兩項均分衡量組合表現，不能當成 Language 單項成績。官方頁面切換分類或是否包含微調模型時，分數與排序會隨之變化。組織參與方 Abacus.AI 同時開發 Smaug 模型，其獨家成績需要其他獨立來源補充。

數據許可：Apache 2.0

分項成績由 LiveBench 發佈，AIHOT 按上述兩類等權彙總並排序。兩項均分與 AIHOT 共識分使用不同尺度，不能直接相加。