论文提出Trace Integrity标准审计LLM数据智能体计算轨迹

Srimonti Dutta 等作者在 arXiv 论文中提出 Trace Integrity（轨迹完整性）标准，用于评估 LLM 数据智能体在结构化数据问答中的计算过程是否显式、可执行、可回放且与答案一致，并定义衡量“答案正确但轨迹无效”比例的 CAIT Rate。作者称该框架旨在超越仅看答案准确率的传统评估方式。 论文实验在 BIRD Mini-Dev 的 100 个 text-to-SQL 样例上进行，比较了三种提示条件：Direct SQL、Operation Summary + SQL 与 Contract-First SQL。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。