AllenAI 发布 StateBench 基准测试语言模型长文档状态追踪能力
StateBench: Testing how language models track state changes over long documents
AI 导读
AllenAI 在 Hugging Face 博客介绍 StateBench 基准，按四级难度（不可变赋值、按值重赋值、自引用更新、按引用赋值）评估语言模型在长文档中追踪实体状态变化的能力，分层依据 Krohn–Rhodes 理论。
推荐理由
原文按四级难度拆解状态追踪，并用预训练与直接训练两类实验区分架构极限与训练数据不足，结论对模型选型有参考。