arXiv cs.AI· Hengyu Ye, Songhua Hu·· 1 天前AI 评分35
从结果到组件：评估 LLM 提议修复动作的反事实评估框架
From Outcomes to Components: A Counterfactual Evaluation Framework for LLM-Proposed Repairs
AI 导读
arXiv 论文提出一个反事实评估框架，将 LLM 提议的修复动作拆分为目标记录选择与更新值两个组件，分别衡量其作用与交互。在交通分配实验中，将 LLM 提议的更新保留在参考目标上可达到参考损失降低量的 79.4%，而在原目标上调节更新强度仅达 43.7%；数据库实验的 108 个动作中，替换更新使 17 个恶化，且均选中了未受影响的记录。组件复用研究将平均留出恢复率提升至 0.616。
来源：arXiv cs.AI · arxiv.org