研究者提出命令行智能体质量-效率基准 AgentMeter

Han Chi 等研究者提出针对命令行智能体（LM-CLI 组合）的质量-效率基准 AgentMeter，并引入新指标 AgentMeter Score（AMS），联合刻画任务质量、预算敏感度和零奖励的资源密集执行。 作者称，实验显示没有任何 CLI 在所有语言模型上都最优，任务成功率、执行成本和 AMS 会识别出不同的优势配置；其公平化框架 AgentMeter-Opt 的结果还显示，保持任务不变的描述改动对不同 LM-CLI 组合影响不均，可能在有效描述条件下改变它们的相对排序。

AI 根据报道生成 · 59 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。