发布ARBIGRAPH上下文管理评测基准

Pavel Golikov 等研究者在 arXiv 发布 ARBIGRAPH，一个评估工具辅助语言智能体在长推理流程中能否保留、更新、组合和丢弃任务相关上下文的基准生成器。 该基准将任务表示为带可执行 Python 求解器的自然语言问题，通过类型化中间状态组合任务，可控制图长度、依赖结构、干扰项数量和值类型，并实现精确自动验证。论文称，模型在依赖数学任务的分支链上准确率最多下降 33.3%。代码、生成的数据集和评测结果已公开。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。