StateBench 基准测试长文档状态追踪能力

AllenAI 在 Hugging Face 博客发布 StateBench 基准，评估语言模型在长文档中追踪实体状态变化的能力。基准按四级难度分层：不可变赋值、按值重赋值、自引用更新、按引用赋值，分层依据 Krohn–Rhodes 理论。 评测中，模型在最长 256 个赋值组成的序列上训练，然后在最长达 64,000 个赋值的序列上测试，后者为训练最大长度的 250 倍。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。