arXiv cs.AI· Bingqi Shang, Yang Zhang, Yiwei Chen, Changsheng Wang, Shiyu Chang, Bingquan Shen, Sijia Liu·· 1 天前AI 评分49
通过在线策略蒸馏让安全预训练的"原生安全"跨模型迁移
Can Native Safety Travel? Reusing Safety Pretraining Across Models via On-Policy Distillation
AI 导读
一项 arXiv 研究首次提出原生安全复用问题，证明安全预训练获得的鲁棒性可通过 on-policy distillation 从小型安全预训练"教师"迁移到标准预训练"学生"，结合跨 tokenizer 对齐可跨模型家族迁移。
来源：arXiv cs.AI · arxiv.org