语言模型通用进展可替代被 withheld 的特定训练数据
General progress substitutes for specific training data in language models
AI 导读
arXiv 论文 2611.24844 发现,模型在其余训练数据上的通用进展可替代被扣留的特定数据。在 chess、Othello、分子字符串、bracket 语言和 web text 实验中,被扣留技能的延迟可由更小模型预测;未显式训练应将的 chess 模型对合法应将的排序几乎与受训模型相当。
推荐理由
论文用棋类和编程语言等实验量化了数据过滤的真实效果,说明通用进展可替代被剔除的数据,对安全训练策略有参考价值。