百度发布 ERNIE 5.5 Flash Base 稀疏 MoE 基座模型权重
RT Baidu Inc.: ERNIE 5.5 Flash Base just dropped! Time to open that project folder. 🚀 Our efficient sparse MoE language model draws on data spannin...
AI 导读
百度发布 ERNIE 5.5 Flash Base 基座模型权重，为稀疏 MoE 架构，总参数 280B、每 token 激活 14B，在多个基准上达到同规模基座模型的 SOTA。模型预训练 33.5T tokens，微调和推理支持最多 1M token 上下文，提供 FP8 与 BF16 权重，权重直接来自预训练，无中期或后期训练，方便在相同 checkpoint 上对比不同方法。