跳到正文
arXiv cs.AI· Xupeng Chen, Chenqian Le, Jiayi Cheng, Runhao Li, Michael Yue·· 2 小时前AI 评分40

arXiv 论文:SFT 在激活几何中留下可复现签名,并在 Qwen3-1.7B 与 Llama-3.1-8B 上校准训练后可解释性噪声

SFT Leaves a Reproducible Signature in Activation Geometry: Calibrating Post-Training Interpretability Against Run-to-Run Noise

AI 导读

一篇 arXiv 论文在 Qwen3-1.7B 的稀疏共激活图上量化 LoRA-SFT 的训练后效应:两次重跑之间的距离超过任一次与基座距离的一半,因此需按配方自身的 run-to-run 噪声带校准对比。

来源:arXiv cs.AI · arxiv.org