Garry Tan 关注:用 GPT-6 Astra 直接操纵 Qwen3.5-0.8B 权重提升数学能力
Interesting new use of smaller models: direct manipulation of weights
AI 导读
Garry Tan 分享了 Rikiya Takehi 展示的一种小模型新玩法:让 GPT-6 Astra 直接编辑 Qwen3.5-0.8B 的权重以提升数学能力,并将这一方法称为 Weight-Space Programming。整个过程不使用梯度或训练,仅修改 0.016% 的权重,就修复了 0.8B 模型的推理循环问题,数学能力最高提升 6 倍,指令遵循也提升 3 倍。