AEM 自适应熵调制用于多轮智能体 RL

论文作者提出 AEM，一种无需额外监督的信用分配方法，把熵动态从 token 级提升到响应级，自适应调节多轮智能体强化学习训练中的探索-利用平衡。其原理是基于自然梯度更新下熵漂移受采样响应优势与相对惊异度交互作用的分析，用响应级不确定性代理重缩放优势。 在 ALFWorld、WebShop 和 SWE-bench-Verified 上对 1.5B 到 32B 模型的实验中，AEM 一致优于强 RL 基线；论文称将其集成到一个先进软件工程 RL 训练框架时可带来 +1.4% 的提升。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。