StateBench揭示長文件狀態追蹤難題
先了解這件事
2026年11月3日，Ai2（Allen Institute for AI）推出 StateBench，按四個複雜度級別評估語言模型追蹤長篇文件內實體狀態變化的能力。報道指，從零開始訓練、具 275 million 個參數的模型，在最長 64,000 次變數賦值的序列中，Gated DeltaNet 及混合模型於前三級幾乎完美泛化；Transformer 則未能學會最難的通用有限狀態任務。11月4日，後續報道指模型在較難的 soluble 和 general finite 任務中，準確率隨輸入變長而大幅下跌；Gemini 3.8 Flash、Claude Opus 5.5、GPT-6 Sol 和 GPT-6 Luna 在最長的 general finite 測試中，準確率均為 13% 或以下。Ai2 同日發布基準測試、數據集及程式碼，測試涵蓋 8 至 64,000 次指派。
AI 根據報道生成 · 1 小時前更新
報道時間線
沿着報道，瞭解事件的不同側面。
- Unite.AIAi2 發佈 StateBench，評估語言模型的長文件狀態追蹤能力
Allen Institute for AI（Ai2）發佈 StateBench 基準測試、數據集及程式碼，評估語言模型能否在長文件中追蹤變動狀態。測試按更新操作分為四級，涵蓋 8 至 64,000 次指派；Ai2 表示，Gemini 3.8 Flash、Claude Opus 5.5、GPT-6 Sol 和 GPT-6 Luna 在最長的一般有限任務中準確率均為 13% 或以下。
- Hugging Face BlogStateBench 評估語言模型追蹤長文件狀態變化的能力
StateBench 是研究團隊推出的長上下文基準，分四個複雜度級別評估語言模型追蹤文件內實體狀態變化的能力。Gemini 3.8 Flash、Claude Opus 5.5、GPT-6 Sol 和 Luna 在較難的 soluble 和 general finite 任務上，準確率隨輸入變長而大幅下跌，最長 general finite 測試降至 13% 或以下。
- Ai2 / Allen Institute for AIStateBench 評估語言模型追蹤長篇文件狀態變化的能力
Ai2 推出 StateBench，這套基準評估語言模型在長篇文件中追蹤實體狀態變化的能力，並將任務按複雜度分為四級。從零開始訓練、參數量為 275 million 的模型在最長 64,000 次變數賦值序列測試中，Gated DeltaNet 及混合模型在前三級幾乎完美泛化；Transformer 則未能學會最難的通用有限狀態任務。
本事件熱度走勢
還沒有足夠的連續觀測數據，暫不繪製趨勢。