原文標題：StateBench: Testing how language models track state changes over long documents

Ai2於11月3日公布StateBench，測試語言模型在長文件中追蹤資訊變化的能力。這類任務包括讀程式時追蹤變數重新賦值，或閱讀故事時記住物品轉交與人物位置。基準把問題分成四層：固定不變的賦值、找最新值、依目前值累積更新，以及不同變數間的參照與交換。研究團隊以相近序列建立不同難度版本，並改變題目呈現方式，避免只依單一格式評斷模型。

研究比較Transformer、混合架構與Gated DeltaNet等模型，也區分一般預訓練與直接針對任務訓練。預訓練模型面對較簡單問題多能作答，但長輸入與高依賴狀態更新仍容易失敗；研究測試的四款前沿模型，在最長的一般有限狀態問題上，正確率降至13%或以下。專項訓練後，部分循環與混合模型能把較簡單層級泛化至遠長於訓練的序列，最難層級則只有具較彈性記憶體更新的版本表現較佳。Ai2因此指出，錯誤可能同時來自訓練與架構，不能以一種原因解釋全部結果；這是受控測試，也不等於模型在所有實際文件工作上只有相同正確率。

發生了什麼事

Ai2推出StateBench，以四層狀態更新問題比較語言模型在長序列中的表現，並分別測試預訓練模型與直接訓練任務的架構。

為什麼重要

文件能放進上下文，並不表示模型能一路正確追蹤每次變化。分級測試有助區分尋找最新資訊、累積更新與跨變數依賴造成的不同難點。

影響哪些人

主要提供模型研究者、長文件產品開發者與評估團隊參考。程式分析或長流程工作若依賴狀態正確性，應設計符合自身情境的測試與查核。

已確認與未確認

已公布特定基準下的測試發現，但受題目格式、序列長度、訓練方式與架構影響。13%以下限原文最長高難度測試，不能套用所有工作。