DFAH-Bench:一致性无法衡量金融智能体的可靠性
DFAH-Bench: What Agreement Leaves Unmeasured in Financial Agents
AI 导读
DFAH-Bench 通过重放实验、省略工具调用的对照测试和带授权检查的银行任务,考察金融智能体决策一致性背后的执行差异。在 570 个合格重放片段中,决策一致率为 94-95%,而含输入与结果的工具路径一致率仅 45-52%;1,080 个 τ-Knowledge 银行研究片段中有 1,033 个已知结果,缺失结果使计划的确证性检验无法进行,银行任务对比仅具描述性。
来源:arXiv cs.AI · arxiv.org