百度开源 ERNIE 5.5 Flash Base 基座模型
先了解这件事
百度于 11 月 5 日开源 ERNIE 5.5 Flash Base 基座模型权重。该模型为稀疏 MoE 架构,总参数 280B、每 token 激活 14B,在 33.5T tokens 上预训练,微调和推理支持最多 1M token 上下文,提供 FP8 与 BF16 两个版本,并联合 vLLM、SGLang 提供生态支持。百度称其在多个基准上达到同规模基座模型的 SOTA。 权重直接来自预训练,无中期或后期训练、指令微调或 RLHF,便于研究者在同一 checkpoint 上对比不同方法。机器之心报道称文心 5.5 Flash 正式版预计很快也会发布。 许可条款有限制:条款完全排除欧盟、英国和韩国;当部署方相关商业收入超过 5000 万美元时,继续商用需获得百度书面授权。
AI 根据报道生成 · 49 分钟前更新
报道时间线
沿着报道,了解事件的不同侧面。
- Startup Fortune百度开源 ERNIE 5.5 Flash Base:280B 参数稀疏 MoE 模型
百度于 11 月 5 日在 Hugging Face 开源 ERNIE-5.5-Flash-Base 预训练 checkpoint,总参数 280B,每 token 仅激活 14B,主打低成本快速推理。
- Tony Huang (@tphuang)百度发布 ERNIE 5.5 Flash Base 稀疏 MoE 基座模型权重
百度发布 ERNIE 5.5 Flash Base 基座模型权重,为稀疏 MoE 架构,总参数 280B、每 token 激活 14B,在多个基准上达到同规模基座模型的 SOTA。模型预训练 33.5T tokens,微调和推理支持最多 1M token 上下文,提供 FP8 与 BF16 权重,权重直接来自预训练,无中期或后期训练,方便在相同 checkpoint 上对比不同方法。
- 机器之心百度开源文心5.5 Flash Base:280B 总参数、14B 激活的 MoE 基座模型
百度于 11 月 5 日发布并开源新一代基座模型文心 5.5 Flash Base(ERNIE 5.5 Flash Base)权重。该模型为稀疏 MoE 架构,总参数量 280B、每 token 激活 14B,在 33.5T tokens 上从零预训练,训练上下文 128K、推理与微调外扩至 1M,已联合 vLLM、SGLang 提供生态支持。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。