研究称SFT在激活几何中留下可复现签名
热点事件持续更新
研究称SFT在激活几何中留下可复现签名
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
Xupeng Chen 等人在 arXiv 发布论文称，对 Qwen3-1.7B 的稀疏共激活图分析显示 LoRA-SFT 在激活几何中留下大且可复现的签名：基座到 SFT 的位移达 17.8 个成对距离标准差，超过四次独立 LoRA-SFT 重跑之间的平均距离；预注册的估计器在 Llama-3.1-8B 上用 Llama-Scope 复现。论文据此提出对比后训练模型时需按配方自身的 run-to-run 噪声带进行校准。 论文限定了适用范围：所有噪声带均基于单一 GPU 架构构建，完整协议只覆盖一个基座、一种 SFT 配方和通用文本探针状态。作者称其结论是校准后的结构位移，而非机制改变；此前被解读为 RL 签名的图集中度，在零 RL 的基座中已存在。
AI 根据报道生成 · 1 小时前更新
报道时间线
沿着报道，了解事件的不同侧面。
10月23日
- arXiv cs.AIarXiv 论文：SFT 在激活几何中留下可复现签名，并在 Qwen3-1.7B 与 Llama-3.1-8B 上校准训练后可解释性噪声
一篇 arXiv 论文在 Qwen3-1.7B 的稀疏共激活图上量化 LoRA-SFT 的训练后效应：两次重跑之间的距离超过任一次与基座距离的一半，因此需按配方自身的 run-to-run 噪声带校准对比。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。