跳到正文
Garry Tan (@garrytan)· Garry Tan·· 3 小时前AI 评分47

Garry Tan 关注:用 GPT-6 Astra 直接操纵 Qwen3.5-0.8B 权重提升数学能力

Interesting new use of smaller models: direct manipulation of weights

AI 导读

Garry Tan 分享了 Rikiya Takehi 展示的一种小模型新玩法:让 GPT-6 Astra 直接编辑 Qwen3.5-0.8B 的权重以提升数学能力,并将这一方法称为 Weight-Space Programming。整个过程不使用梯度或训练,仅修改 0.016% 的权重,就修复了 0.8B 模型的推理循环问题,数学能力最高提升 6 倍,指令遵循也提升 3 倍。

来源:Garry Tan (@garrytan) · x.com