arXiv cs.AI· Vedant Jumle·· 1 天前AI 评分45
当激活转向被用作记忆时,什么能留存下来?
What Survives When Activation Steering Is Used as Memory
AI 导读
一项研究用冻结 LLM 旁的无训练激活记忆检验“用户事实必须以文本存储”的假设:经验被存为后层状态的偏移,按会话要点的白化键索引。在 Qwen3.5-2B 与 9B 上的预注册实验显示,该记忆有选择性(约 98% 无关回复不受影响),但事实几乎不被使用(干净使用至多 15%,上下文内为 96-98%),且不减去相反参照时,存储的“不喜欢”会被召回为“喜欢”。
来源:arXiv cs.AI · arxiv.org