arXiv cs.AI· Sergio Burdisso, Esa\'u Villatoro-Tello, Dairazalia S\'anchez-Cort\'es, Yanis Labrak, Jordi Luque, Milos Cernak, Petr Motlicek·· 2 小时前AI 评分41
DialFork：超越事实性，评测对话智能体的程序性幻觉
DialFork: Going Beyond Factuality to Evaluate Procedural Hallucination in Conversational Agents
AI 导读
研究者提出 DialFork，首个在原始对话文本上测量“程序性幻觉”的 benchmark——智能体逐句流畅且事实合理，却偏离预期对话流程。该数据集通过在受控轮次分叉合规对话并注入四类幻觉，生成 36,278 条对话、覆盖 24 个任务和 12 个领域，由 30 名标注者验证，并提出 FlowKL 和 FlowScore 两个对话流感知指标。
来源：arXiv cs.AI · arxiv.org