Hugging Face Daily Papers· Xuyuan Xiong, Siyu Chen, Zihan Shao, Yue Su, Weiyang Jin, Ping Luo, Zhuoran Yang, Xihui Liu·· 16 天前AI 评分37
截断还是不截断？Looped Transformer 截断反向传播的 Scaling 研究
Truncate or Not? A Scaling Study of Looped Transformers with Truncated Backpropagation
AI 导读
一项系统性研究通过近 600 次训练运行，联合变化模型规模、训练 token 数和前向/反向循环次数，拟合出刻画 Looped Transformer 中 BPTT 截断影响的统一 scaling law。