SpaRLax：面向大语言模型推理的稀疏 RL 松弛方法

论文提出 SpaRLax，一种用于 soft CoT 推理的稀疏松弛 RL 训练方法，将 soft token 视为可微的中间计算步骤而非 MDP 中的动作，从而跨时间步传播梯度。方法采用 entmax 自适应稀疏度，在确定步骤截断长尾噪声、不确定时保留多个候选。在九个推理 benchmark 上取得最高平均性能。