跳到正文
热点事件持续更新

论文提出反事实替换法测量RAG引用溯源

1 篇报道1 个报道来源53 分钟前更新

先了解这件事

AI 综述

Tanzeel Abbas 等在 arXiv 发布论文,提出用反事实替换法测量检索增强生成(RAG)系统的引用溯源:将检索段落中的事实替换为虚假变体后重新查询模型,检测引用是否真正来自检索内容。在两个模型家族(其中一族含五个规模)上,作者测得 1.2% 至 15.7% 的可引用声明来自参数化记忆而非检索内容,且该比例随模型规模上升。 论文还发现,常用的自然语言推理验证方法区分参数化来源的效果与随机无异。作者称检测器测量的是模型“知道什么”而非“用了什么”,且现有检测精度尚不足以实际使用,如何将两者分离仍是未解问题。

AI 根据报道生成 · 22 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月14日
  1. arXiv cs.AI
    引而不用的引用:RAG 系统中的参数化溯源研究

    一项 arXiv 研究提出用反事实替换法测量检索增强生成(RAG)系统的引用溯源:将检索段落中的事实替换为虚假变体后重新查询模型。结果发现,在两个模型家族(其中一族含五个规模)上,1.2% 至 15.7% 的可引用声明来自参数化记忆而非检索内容,且该比例随模型规模上升;标准自然语言推理验证的效果与随机无异。作者指出检测器测量的是模型“知道什么”而非“用了什么”,将两者分离仍是未解问题。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。