Bank-World 银行业务 Agent 基准发布

Daniel Rupawalla 发布 Bank-World 基准：一个包含 50 项银行任务、覆盖两家模拟机构的 AI 智能体评测基准，通过单轮任务和与模拟员工的多轮交互，考察记录核对、审批、交易执行及指令一致性等能力。 在四个模型共 1,600 次尝试中，正确决策常未能落实为完成的任务，出现重复收取手续费、金额分配出错、审批未完成就执行付款等情况。作者称结果中 Sol 单轮完成率最高，Opus 多轮完成率最高，Grok 覆盖更多多轮任务但稳定性较差。 为减少污染、保留后续评测价值，任务环境、可执行评分器和完整轨迹由作者私下保留，未公开。

AI 根据报道生成 · 53 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。