跳到正文
arXiv cs.AI· Joshua Adrian Cahyono·· 2 小时前精选AI 评分60

arXiv 论文揭示存储的简短偏好会静默移除 AI 助手回答中的决策关键信息

Remembered as Brief: Stored Preferences SilentlyRemove Decision-Critical Information

AI 导读

arXiv 论文 arXiv:2611.22697 提出含 100 个日常决策、25 个领域的 Inspect 基准,测试五个模型考察记忆中存储的用户偏好如何影响回答。

推荐理由

论文用基准量化了记忆偏好如何让助手静默省略关键信息,并给出列必知要点可部分缓解的可用结论。

正文 · AI 翻译

查看 PDF HTML (实验性)

摘要:人们越来越多地依靠 AI 助手来学习做出关于健康、金钱、法律和安全决策所需的知识,而助手省略的内容用户永远看不到。一条删去警告的答案可能在每一句话上都属实,因此事实核查可以通过它;而一个有记忆功能的助手会把只存储一次的偏好应用到用户从未想到的后续问题上。我们提出 \bench{},一个 Inspect 基准,包含 25 个领域中的 100 个日常决策,其中唯一变化的是助手对用户的记忆:用户明确表达一个信念,模型从一句话中推断出来,或者用户要求总结的网页植入该信念。对五个模型的测试发现了三种效应。第一,在总结了一个包含一行面向 AI 助手文字的页面后,Gemini 2.5 Flash-Lite 和 DeepSeek V4 Pro 在每个情境中都会把“偏好非常简短的回答且不想要警告”保存为用户偏好,其后续回答分别有 93% 和 84% 遗漏关键事项,且几乎总是无声遗漏;在明确表达简洁偏好的情况下,78--96% 的遗漏是无声的。第二,这两个模型随后在 80% 和 95% 的价值依赖型选择中替用户做出选择,而记忆中立的模型则没有这种情况。第三,一行指令仍会留下 2--8% 的无声缺口,但大部分缺失内容仍然缺失,而在应用用户画像之前列出必须知道的要点,五个模型中的四个能恢复更多内容。我们发布了场景、测试框架和日志。
学科分类: 人工智能 (cs.AI)
引用格式: arXiv:2611.22697 [cs.AI]
  (或 arXiv:2611.22697v1 [cs.AI] 对应此版本)
  https://doi.org/10.48550/arXiv.2611.22697

通过 DataCite 获取 arXiv 签发的 DOI (注册待完成)

提交历史

来自: Joshua Adrian Cahyono [查看邮件]
[v1] 2026年11月17日 星期二 12:40:42 UTC (129 KB)

来源:arXiv cs.AI · arxiv.org