arXiv cs.AI· Yiming Yan, Hongyang Wang, Wenbo Chen, Xuan Wang, Jingguo Liu, Xian Li, Chen Qi, Leo Fan, Siwei Li, Qianli Wu, Yichuan Li, Ruochen Wen, Qian Qu, Zheshen Wang, Benoit Dumoulin·· 3 小时前精选AI 评分61
Amazon 发布 Sandman 论文：共享 Kubernetes 上支撑智能体强化学习的沙箱服务
Sandman: Building and Operating Sandboxes for Agentic Reinforcement Learning on Shared Kubernetes
AI 导读
Amazon 团队在 arXiv 论文中介绍 Sandman，一个为智能体强化学习的工具执行与评估构建的沙箱服务，已在共享 Kubernetes 上支撑多个生产训练任务。
推荐理由
论文来自 Amazon Sandman 团队第一手，分享了共享 Kubernetes 上运行海量智能体 RL 沙箱的设计取舍与运维经验，还将开源 daemon、provider 和 pool。
正文 · AI 翻译
作者：Yiming Yan、Hongyang Wang、Wenbo Chen、Xuan Wang、Jingguo Liu、Xian Li、Chen Qi、Leo Fan、Siwei Li、Qianli Wu、Yichuan Li、Ruochen Wen、Qian Qu、Zheshen Wang、Benoit Dumoulin
摘要：智能体强化学习（RL）通常需要在特定任务环境中反复调用工具。一个训练作业可能会突发性地创建数千个这样的环境，同时与其他作业共享集群。我们介绍 Sandman，这是 Amazon 构建和运营的一个沙箱服务，用于智能体工具执行与评估。它在共享的 Kubernetes 上为多个生产级智能体 RL 工作负载提供服务。训练框架提供一个任务镜像，并使用返回的沙箱中的命令和文件操作。文件和进程在多次调用之间保持持久，直到框架释放该环境。Sandman 负责创建、就绪与清理。每个沙箱是一个 Kubernetes pod，其中挂载了一个小型守护进程到未修改的镜像中。在一项规模测试中，Sandman 维持了 11,858 个并发的微型沙箱。四个生产级 SWE-bench Verified 训练活动在 2026 年 10 月创建了 310 万个沙箱。我们报告了在处理创建突发、准备任务环境、回收被弃置的沙箱以及在受控条件下运行评估方面的设计权衡与运维经验。我们将开源 Sandman 的守护进程、provider 和 pool。
| 评论： | 42 页，6 幅图，53 张表 |
| 学科： | 分布式、并行与集群计算（cs.DC）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用格式： | arXiv:2610.39711 [cs.DC] |
| （本版本为 arXiv:2610.39711v1 [cs.DC]） | |
| https://doi.org/10.48550/arXiv.2610.39711 arXiv 通过 DataCite 签发的 DOI（待注册） |
提交历史
来自：Yiming Yan [查看邮件]
[v1]
2026 年 10 月 29 日 星期四 09:45:57 UTC（214 KB）
来源：arXiv cs.AI · arxiv.org