arXiv cs.AI· Edesio Alcoba\c{c}a, Kevin Rossell, Aman Gupta, Shao Tang, Jiwoo Hong, Pabel Carrillo-Mendoza, Wanderson Concei\c{c}\~ao Ferreira, Alvaro Tedeschi, Zayd Simjee, Shreya Rajpal, Bruno Finardi Hime, Christian Sousa, Luis Moneda, Herbert Fei, Daniel Silva, Rohan Ramanath·· 3 小时前精选AI 评分64
arXiv 论文提出在 1.4 亿规模生产部署前用仿真筛选客服 AI 智能体
Screen Before You Serve: Simulation for Production Customer Experience AI Agents at 140M Scale
AI 导读
Nubank 团队发表 arXiv:2609.30137，提出在部署前用假设驱动的仿真工作流筛选客服 CX 智能体，合成客户与模拟工具输出支持多步智能体流程，无需调用生产后端。
推荐理由
论文给出生产环境可复用的仿真筛选工作流，用 Nubank 真实部署数据说明模拟评估与线上效果的关联程度。
正文 · AI 翻译
作者：Edesio Alcobaça、Kevin Rossell、Aman Gupta、Shao Tang、Jiwoo Hong、Pabel Carrillo-Mendoza、Wanderson Conceição Ferreira、Alvaro Tedeschi、Zayd Simjee、Shreya Rajpal、Bruno Finardi Hime、Christian Sousa、Luis Moneda、Herbert Fei、Daniel Silva、Rohan Ramanath
摘要：客户体验（CX）智能体使用工具和大语言模型来处理客户请求，并引导与组织产品的对话式交互。改进这些智能体，尤其是在受监管的行业中，十分困难：它们必须识别意图、遵循复杂的运营策略并可靠地使用工具。手动端到端测试的覆盖范围有限，而线上实验则会让客户暴露在可能削弱信任的故障面前。
我们提出了一种基于假设的仿真工作流，用于在部署前筛选候选 CX 智能体。合成客户会对智能体的响应做出反应，而模拟的工具输出使得多步智能体工作流无需调用生产环境后端即可运行。我们在 Nubank 的 Card Delivery 智能体及其扩展后继版本 Card Management 上使用了 Snowglobe 仿真器——后者是 Nubank 在巴西聊天量最高的客服智能体。在 4 个已部署版本中，仿真与生产环境的版本级二元评估器分数表现出高度相关性。在一次线上 A/B 测试中，由仿真引导的迭代使交易净推荐值（tNPS）提升了 36.69 分。我们还在超过 16,000 次模拟对话中筛选了开放权重的配置。在随后的线上 A/B 测试中，所选模型将自助服务率（SSR）提升了 8.82 个百分点，达到 Nubank 观测到的最高水平，同时 tNPS 无统计显著性变化。仿真使得对模型、推理设置和提示词的大规模探索无需让客户暴露于风险成为可能，从而实现了仅靠线上实验难以实现的生产环境改进。
| 评论： | 17 页，11 幅图 |
| 学科： | 人工智能 (cs.AI)；计算与语言 (cs.CL) |
| 引用方式： | arXiv:2609.30137 [cs.AI] |
| （本版本为 arXiv:2609.30137v2 [cs.AI]） | |
| https://doi.org/10.48550/arXiv.2609.30137 arXiv 签发的 DOI，经 DataCite 提供 |
提交历史
来自：Aman Gupta [查看邮件]
[v1]
2026 年 9 月 24 日 17:07:38 UTC（2,728 KB）
[v2]
2026 年 11 月 5 日 18:38:42 UTC（2,728 KB）
来源：arXiv cs.AI · arxiv.org