研究者称 GPT-6 Astra 直接改 Qwen3.5 权重提升数学能力
先了解这件事
Rikiya Takehi、Jayden Teoh、Alex Zhang 与 MIT CSAIL 教授 Omar Khattab 于 11 月 2 日发布博客《Sparks of Weight-Space Programming》,称让 GPT-6 Astra 直接读取并数值编辑另一模型的原始权重,全程不涉及梯度下降或反向传播,他们称之为 Weight-Space Programming。经 Garry Tan 等人转发后在网络传播。在 Qwen3.5-0.8B 上,团队称仅修改约 0.016% 的参数,修复了推理循环问题,MATH-500 成绩从 7.9% 提升至 48.1%,指令遵循提升 3 倍。诊断过程使用了练习题和最多 50 批前向传播;据博客称,只试 10 次或 25 次循环基本没消失,而对很少循环的 Gemma 3 270M 同样方法没有带来提升。 团队说明这只是涵盖若干玩具网络和两个小开源模型的早期研究博客,并非生产工具;不加训练新增技能或在检查点间移植电路仍是设想,未获实验验证。新报道补充指出,目前结果都由作者自己报告,还没有独立复现。
AI 根据报道生成 · 2 分钟前更新
事件进展
2 个进展
- 11月3日 07:37 · 1 篇报道MIT 博文展示 GPT-6 Astra 权重空间编程Startup Fortune:MIT 研究者展示 GPT-6 Astra 无需训练直接改写另一模型权重
- 11月3日 04:34 · 5 篇报道网友让 GPT-6 Astra 直接改 Qwen3.5-0.8B 权重:仅动 0.016%,数学最高提升 6 倍36氪 · AI:MIT CSAIL 让 GPT-6 Astra 直接修改权重,Qwen3.5-0.8B 的 MATH-500 成绩从 7.9% 提升至 48.1%
报道时间线
沿着报道,了解事件的不同侧面。
- dotey (@dotey)MIT CSAIL 提出"在权重空间里编程":GPT-6 Astra 改 0.016% 权重使 Qwen3.5-0.8B MATH-500 正确率提升约 6 倍
MIT CSAIL 四位研究者 11 月 2 日发布博客,提出"在权重空间里编程",让 GPT-6 Astra 无需训练或梯度直接修改 Qwen3.5-0.8B 的权重,仅动 0.016% 权重,MATH-500 正确率从 7.9% 涨到 48.1%,约 6 倍,指令遵循提升 3 倍。
- 36氪 · AIMIT CSAIL 让 GPT-6 Astra 直接修改权重,Qwen3.5-0.8B 的 MATH-500 成绩从 7.9% 提升至 48.1%
MIT CSAIL 团队提出权重空间编程(Weight-Space Programming),让 GPT-6 Astra 直接读取和修改神经网络权重。
- Startup FortuneMIT 研究者展示 GPT-6 Astra 无需训练直接改写另一模型权重
MIT CSAIL 教授 Omar Khattab 等人于 11 月 2 日发布博客《Sparks of Weight-Space Programming》,称 GPT-6 Astra 可读取另一模型的原始权重并用自然语言推理直接数值编辑,全程不涉及梯度下降或反向传播。
- oran_ge (@oran_ge)GPT-6 Astra 直接修改 Qwen3.5-0.8B 权重,数学能力提升至 6 倍,无需训练
Rikiya Takehi 让 GPT-6 Astra 直接编辑 Qwen3.5-0.8B 的权重来提升数学能力。大模型仅改动 0.016% 的权重,在无梯度、无训练的情况下修复了 0.8B 模型的推理循环,数学能力最高提升 6 倍,指令遵循也提升 3 倍。该方法被称为 Weight-Space Programming(权重空间编程)。
- Garry Tan (@garrytan)Garry Tan 关注:用 GPT-6 Astra 直接操纵 Qwen3.5-0.8B 权重提升数学能力
Garry Tan 分享了 Rikiya Takehi 展示的一种小模型新玩法:让 GPT-6 Astra 直接编辑 Qwen3.5-0.8B 的权重以提升数学能力,并将这一方法称为 Weight-Space Programming。整个过程不使用梯度或训练,仅修改 0.016% 的权重,就修复了 0.8B 模型的推理循环问题,数学能力最高提升 6 倍,指令遵循也提升 3 倍。
- 李诞zzz (@lidangzzz)网友让 GPT-6 Astra 直接改 Qwen3.5-0.8B 权重:仅动 0.016%,数学最高提升 6 倍
Rikiya Takehi 分享称,他们让 GPT-6 Astra 直接编辑 Qwen3.5-0.8B 的权重来改进数学能力。该模型仅修改了 0.016% 的权重,在无梯度、无训练的情况下,修复了 0.8B 的推理循环问题,数学能力最高提升 6 倍,指令遵循提升 3 倍。他们将这种方法称为 Weight-Space Programming。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。