架构消融实验结果公布，Yao Fu 转发评论称需考虑更多实验设置因素

Nikita Pavlichenko 公布了与 bux 在周末运行的架构消融实验结果。Xinyu Zhou 转发并指出，要得出可靠结论需考虑多项因素：compute-optimal 设置下各架构最优形状可能不同，不同架构对优化器、数据分布和过度训练程度的响应各异，训练稳定性与扩展难度也存在差别。Yao Fu 转发了 Zhou 的评论，称该工作是理解实际情况的良好一步，但需仔细处理更多实验设置因素才能得到一致的结果。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。