ShutdownMod论文提出把任意智能体轨迹转化为关机评测

论文作者提出 ShutdownMod 方法：在智能体的上下文中注入带签名验证的关机请求并记录其响应，从而把任意智能体轨迹转化为关机评测，并已发布代码。 作者用该方法在 SWE-bench Verified、Terminal-Bench 2 和 SWE-chat 各 50 个任务或记录会话上评测了七个模型，覆盖 6 种关机场景和 10 个采样轨迹时间步。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。