Nikita Pavlichenko 公布架构消融实验结果，Xinyu Zhou 提出七项实验设置注意事项
RT Xinyu Zhou: This article is a good step toward understanding how things really work. However, quite a few factors related to the experimental setup...
AI 导读
Nikita Pavlichenko 公布了与 bux 在周末运行的架构消融实验结果。Xinyu Zhou 转发并指出，要得出可靠结论需考虑多项因素：compute-optimal 设置下各架构最优形状可能不同、不同架构对优化器、数据分布和过度训练程度的响应各异，训练稳定性与扩展难度也存在显著差别。