跳到正文
热点事件持续更新

论文提出用MoE路由抑制过度思考,token用量中位数降30.4%

1 篇报道1 个报道来源1 小时前更新

先了解这件事

AI 综述

Shengjie Wang 等在 arXiv 论文(2611.05919)中提出,MoE 模型的路由器可作为免训练的行为控制接口,在推理时选择性编辑专家路由打分以抑制推理模型的过度思考。该干预在四个模型、四个基准上使生成 token 数量中位数减少 30.4%,最多达 63.3%。 论文还称,可将推理轨迹按规划、执行、重述、事实、反思、结论六种行为标注;在 router logits 上训练的线性探针用约一半特征即可接近残差流探针的预测效果,并在六个数据集、五个领域间泛化。

AI 根据报道生成 · 57 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月5日
  1. arXiv cs.AI
    arXiv 论文提出通过 MoE 路由抑制推理模型过度思考,token 用量中位数降 30.4%

    arXiv 论文(2611.05919)发现 MoE 模型的 router 是免训练的行为控制接口,可将推理轨迹按规划、执行、重述、事实、反思、结论六种行为标注,router logits 上的线性探针用约一半特征即可接近残差流探针的预测效果,且跨六数据集、五领域泛化。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。