跳到正文
热点事件持续更新

百度开源 ERNIE 5.5 Flash Base 基座模型

3 篇报道3 个报道来源3 小时前更新

先了解这件事

AI 综述

百度于 11 月 5 日开源 ERNIE 5.5 Flash Base 基座模型权重。该模型为稀疏 MoE 架构,总参数 280B、每 token 激活 14B,在 33.5T tokens 上预训练,微调和推理支持最多 1M token 上下文,提供 FP8 与 BF16 两个版本,并联合 vLLM、SGLang 提供生态支持。百度称其在多个基准上达到同规模基座模型的 SOTA。 权重直接来自预训练,无中期或后期训练、指令微调或 RLHF,便于研究者在同一 checkpoint 上对比不同方法。机器之心报道称文心 5.5 Flash 正式版预计很快也会发布。 许可条款有限制:条款完全排除欧盟、英国和韩国;当部署方相关商业收入超过 5000 万美元时,继续商用需获得百度书面授权。

AI 根据报道生成 · 49 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月5日
  1. Startup Fortune
    百度开源 ERNIE 5.5 Flash Base:280B 参数稀疏 MoE 模型

    百度于 11 月 5 日在 Hugging Face 开源 ERNIE-5.5-Flash-Base 预训练 checkpoint,总参数 280B,每 token 仅激活 14B,主打低成本快速推理。

  2. Tony Huang (@tphuang)
    百度发布 ERNIE 5.5 Flash Base 稀疏 MoE 基座模型权重

    百度发布 ERNIE 5.5 Flash Base 基座模型权重,为稀疏 MoE 架构,总参数 280B、每 token 激活 14B,在多个基准上达到同规模基座模型的 SOTA。模型预训练 33.5T tokens,微调和推理支持最多 1M token 上下文,提供 FP8 与 BF16 权重,权重直接来自预训练,无中期或后期训练,方便在相同 checkpoint 上对比不同方法。

  3. 机器之心
    百度开源文心5.5 Flash Base:280B 总参数、14B 激活的 MoE 基座模型

    百度于 11 月 5 日发布并开源新一代基座模型文心 5.5 Flash Base(ERNIE 5.5 Flash Base)权重。该模型为稀疏 MoE 架构,总参数量 280B、每 token 激活 14B,在 33.5T tokens 上从零预训练,训练上下文 128K、推理与微调外扩至 1M,已联合 vLLM、SGLang 提供生态支持。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。