论文提出Intrusion Pathway解释无关上下文干扰机制

Dikshant Kukreja 等研究者发布论文，将语言模型在提示词包含无关语句或随机 token 等非证据性上下文时准确率下降的现象，追溯到一条“入侵通路”（Intrusion Pathway）：MLP 先丰富查询主体与无关 token 的表示，随后“鹦鹉头”（parroting heads）把前缀内容写入预测位置，而关系读取头基本避开无关来源。论文还定位出一组稀疏的“入侵头”，其来自前缀的写入会助长干扰。 在四个下游任务上，用干净残差替换被污染的末 token 残差（需一次匹配的干净前向传播的 oracle 探测）平均可恢复 97.6% 的性能损失；可实际部署的做法是屏蔽约十个头（约占模型注意力头的 1%），可恢复 57%，且对有用上下文的损害有限。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。