跳到正文
热点事件持续更新

DFAH-Bench v4:决策一致但执行路径大不同

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

Raffi Khatchadourian 在 arXiv 更新发布 DFAH-Bench 论文 v4,考察金融智能体决策一致性背后的执行差异。结论是:决策一致不等于执行可靠。 在 570 个合格重放片段中,智能体的决策一致率为 94-95%,但包含输入与结果的工具路径一致率仅 45-52%。该基准通过重放实验、省略工具调用的对照测试和带授权检查的银行任务进行考察。 银行任务方面,1,080 个 τ-Knowledge 银行研究片段中有 1,033 个缺失已知结果,导致计划的确证性检验无法进行,因此银行任务对比仅具描述性。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月23日
  1. arXiv cs.AI
    DFAH-Bench:一致性无法衡量金融智能体的可靠性

    DFAH-Bench 通过重放实验、省略工具调用的对照测试和带授权检查的银行任务,考察金融智能体决策一致性背后的执行差异。在 570 个合格重放片段中,决策一致率为 94-95%,而含输入与结果的工具路径一致率仅 45-52%;1,080 个 τ-Knowledge 银行研究片段中有 1,033 个已知结果,缺失结果使计划的确证性检验无法进行,银行任务对比仅具描述性。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。