提出ROM实时缓解推理模型过度思考

论文作者提出ROM（Real-time Overthinking Mitigation）方法，用仅占骨干参数0.07–0.25%的轻量流式检测器，在大推理模型（LRM）推理边界实时检测并干预冗余思考。其依据是从深层隐状态可解码出有效推理转向冗余推理的转变。 论文结果显示：ROM_CSC将回答长度缩短28–77%（平均45%），在全部25个设置中均有显著缩短，其中22个设置精度持平或超过普通解码；在两个骨干上的测量显示端到端时延降低20–70%，每步解码检测开销低于0.5%。检测头用共享MATH500监督按各骨干分别训练，可零样本迁移到四个未见基准。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。