跳到正文
机器之心·· 5 小时前AI 评分67

百度开源文心5.5 Flash Base:280B 总参数、14B 激活的 MoE 基座模型

刚刚,百度开源全新预训练基模,还是主打效率的Flash

AI 导读

百度于 11 月 5 日发布并开源新一代基座模型文心 5.5 Flash Base(ERNIE 5.5 Flash Base)权重。该模型为稀疏 MoE 架构,总参数量 280B、每 token 激活 14B,在 33.5T tokens 上从零预训练,训练上下文 128K、推理与微调外扩至 1M,已联合 vLLM、SGLang 提供生态支持。

来源:机器之心 · mp.weixin.qq.com