SAPO：单因果模型内统一策略与价值学习的 PPO 式智能体 RL 框架
热点事件持续更新
SAPO：单因果模型内统一策略与价值学习的 PPO 式智能体 RL 框架
1 篇报道1 个报道来源3 小时前更新
先了解这件事
AI 综述
研究团队在 arXiv 论文（v4）中提出 SAPO（单轨自回归策略优化），一种 PPO 风格的智能体强化学习框架，在单个因果语言模型内统一策略优化与价值学习：以共享参数在不同因果边界顺序生成动作与价值估计，并结合 turn 级广义优势估计，联合优化 PPO 目标与 on-policy SARSA 辅助目标。 论文作者称，与强 PPO 基线相比，SAPO 将峰值 GPU 显存占用降低 24.8%、单次迭代运行时间缩短 23.1%，同时任务成功率持平或略有提升；实验在 ALFWorld 和 WebShop 上使用 Qwen2.5-1.5B/7B 与 Qwen3-14B 进行。上述性能数据为论文中的说法。
AI 根据报道生成 · 1 小时前更新
最新进展10月27日 12:00
SAPO：面向智能体强化学习的单轨自回归策略优化报道时间线
沿着报道，了解事件的不同侧面。
10月27日
- arXiv cs.AISAPO：面向智能体强化学习的单轨自回归策略优化
arXiv 论文提出 SAPO（Single-Rollout Autoregressive Policy Optimization），一种 PPO 风格框架，在单个因果语言模型内统一策略优化与价值学习，以共享参数在不同因果边界顺序生成动作与价值估计，并结合 turn 级广义优势估计联合优化 PPO 目标与 on-policy SARSA 辅助目标。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。