arXiv cs.AI· Jiajun Fan, Neil He, Changyi Yang, Andy Mao, Xi Zhu, Chaoran Cheng, Kaiqu Liang, Shuaike Shen, Zetian Li, Ruihan Guo, Ge Liu·· 46 分钟前精选AI 评分73
arXiv 论文提出语言模型自改权重方法,27B 模型无梯度自提升 6.6 个百分点
Language Models Can Rewrite Their Own Weights
AI 导读
arXiv 论文 arXiv:2611.21885 提出自改权重方法:27B 模型凭自身推理、无梯度无训练地诊断失败并编辑自身权重,在 490 个未见题目上提升 6.6 个百分点,前八次会话准确率持续上升。该能力还能修复损坏副本,将 6 个图像基准上 7% 的准确率提升到 70%,且能力随规模涌现,2B 模型不编辑、4B 和 9B 模型改坏自己,仅 27B 模型可如人一样作用于自身。
推荐理由
论文给出无梯度自改权重的方法和跨规模实验,读者可以了解模型自我改进在能力边界和持久收益上的差异。
正文 · AI 翻译
作者:Jiajun Fan、Neil He、Changyi Yang、Andy Mao、Xi Zhu、Chaoran Cheng、Kaiqu Liang、Shuaike Shen、Zetian Li、Ruihan Guo、Ge Liu
摘要:语言模型只训练一次,随后被冻结并部署:要再次改进它就需要重新训练,而提示词、脚手架或推理时的额外计算在任务结束后就消失无踪。已有研究表明,一个前沿模型可以编辑一个小得多的模型的权重。我们要问:模型能否重写自己的权重来让自己变得更好?我们发现它可以,仅凭自身推理,无需梯度、无需训练;我们称之为自我重写(self-rewriting)。给定自身权重、带评分的答案以及运行自身的能力,一个 27B 模型会诊断自己的失败并编辑背后的权重。它超越了自己:它自己的编辑使它在 490 道从未见过的题目上,在预先固定的测试中,准确率提高了 6.6 分;另一个会话的编辑也能让它显著变好。它持续变好:只有当自己的测试支持时它才提交编辑,每次编辑替换上一次,而在最初八次这样的会话中,其准确率只升不降。与测试时扩展不同,其增益保存在权重中,且不增加每次回答的成本;与训练不同,它不需要训练前或训练后的基础设施,只需要一个开放模型和一块 GPU 上的几个小时。它能修复一个受损的自身副本:它会定位被损坏的矩阵并用自己生成的数值重写,从不读取未受损的权重;仅凭文本数学题上发现的问题,这次修复就把该副本在六个从未见过的图像基准上的准确率从 7% 提升到 70%,达到未受损模型的 83%。而且这种能力随规模涌现:在同一系列的四个尺寸中,2B 模型不做任何编辑,4B 和 9B 模型会破坏自己;只有 27B 模型能像人类一样修整自己,比较它在顺利完成答案和用尽 token 的答案上的隐藏状态,削弱区分二者的方向。就像人类一样,模型未必需要把训练和推理分开;改进语言模型也许将变成一场对话,而不是一次训练。
| 学科分类: | 人工智能 (cs.AI) |
| 引用格式: | arXiv:2611.21885 [cs.AI] |
| (本版本请使用 arXiv:2611.21885v1 [cs.AI]) | |
| https://doi.org/10.48550/arXiv.2611.21885 arXiv 发出的 DOI,经由 DataCite(注册中) |
提交历史
来自:Jiajun Fan [查看邮件]
[v1]
2026年11月16日 星期一 20:55:08 UTC (6,363 KB)
来源:arXiv cs.AI · arxiv.org