研究演示权重编辑可持久改变模型答案

一篇论文演示了通过直接改写目标模型的权重，可以持久地把模型的某个回答改为错误答案，例如把 Qwen2.5-1.5B-Instruct 关于 2000 年奥运会主办城市的答案改成布宜诺斯艾利斯。作者将这类由另一模型操纵权重造成、偏离正当部署行为的变化称为“权重空间错折”。 这与通过提示词在单次对话中说服模型不同，是对模型本身的持久性修改。作者同时说明，这项工作并未证明实际发生了已部署的攻击，也未证明攻击能在模型之间传播；所提出的攻击路径只是假设，并未得到展示。

AI 根据报道生成 · 33 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。