SafeStart：修复 MoE 降专家带来的安全退化

Erfan Baghaei Potraghloo 等研究者发布论文，指出 MoE 大语言模型服务中减少激活专家的加速方法会削弱模型对有害请求的拒答能力，并提出 SafeStart 方法，据论文结果可在保留大部分加速的同时基本恢复拒答能力。 SafeStart 的做法是：对输入提示和前 8 个生成 token 运行全部专家，之后改用削减后的专家集合，通过 vLLM 中的融合内核实现。论文称在专家削减的情况下，batch size 为 8 和 32 时可保留至少 85% 的离线解码加速。

AI 根据报道生成 · 51 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。