论文提出反事实替换法测量RAG引用溯源
热点事件持续更新
论文提出反事实替换法测量RAG引用溯源
1 篇报道1 个报道来源53 分钟前更新
先了解这件事
AI 综述
Tanzeel Abbas 等在 arXiv 发布论文,提出用反事实替换法测量检索增强生成(RAG)系统的引用溯源:将检索段落中的事实替换为虚假变体后重新查询模型,检测引用是否真正来自检索内容。在两个模型家族(其中一族含五个规模)上,作者测得 1.2% 至 15.7% 的可引用声明来自参数化记忆而非检索内容,且该比例随模型规模上升。 论文还发现,常用的自然语言推理验证方法区分参数化来源的效果与随机无异。作者称检测器测量的是模型“知道什么”而非“用了什么”,且现有检测精度尚不足以实际使用,如何将两者分离仍是未解问题。
AI 根据报道生成 · 22 分钟前更新
最新进展11月14日 13:00
引而不用的引用:RAG 系统中的参数化溯源研究报道时间线
沿着报道,了解事件的不同侧面。
11月14日
- arXiv cs.AI引而不用的引用:RAG 系统中的参数化溯源研究
一项 arXiv 研究提出用反事实替换法测量检索增强生成(RAG)系统的引用溯源:将检索段落中的事实替换为虚假变体后重新查询模型。结果发现,在两个模型家族(其中一族含五个规模)上,1.2% 至 15.7% 的可引用声明来自参数化记忆而非检索内容,且该比例随模型规模上升;标准自然语言推理验证的效果与随机无异。作者指出检测器测量的是模型“知道什么”而非“用了什么”,将两者分离仍是未解问题。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。