arXiv cs.AI· Yue Huang, Yanbo Wang, Lichi Li, Yuanyuan Chen, Andreas Haupt, Xiaonan Luo, Zheyuan Liu, Jihye Choi, Felix Juefei-Xu, Xiangliang Zhang, Radha Poovendran, Misha Sra, Ying Liu, Ben Burtenshaw, Thomas Wolf, Alex Pentland, Zichen Chen, Zhangchen Xu·· 2 小时前精选AI 评分60
RSI Arena 论文：十个前沿模型自主后训练 NVIDIA Nemotron 基座模型并评估人类反馈下的自我改进
RSI Arena: Towards Recursive Self-Improvement with Human Feedback
AI 导读
arXiv 论文 2610.33624 提出 RSI Arena，让十个前沿模型作为训练智能体，各自从 NVIDIA Nemotron 3.5 Lightning 30B-A3B Base 起步，在共享 64-GPU 集群上有 1,000 GPU 小时和 $300 API 额度、用六天自主选数据并训练。
推荐理由
论文给出十个智能体自主后训练模型的统一可审计实验，结果包含能力差距闭合比例与偏好提升，可帮助理解人类反馈下的递归自我改进。
正文 · AI 翻译
作者：Yue Huang、Yanbo Wang、Lichi Li、Yuanyuan Chen、Andreas Haupt、Xiaonan Luo、Zheyuan Liu、Jihye Choi、Felix Juefei-Xu、Xiangliang Zhang、Radha Poovendran、Misha Sra、Ying Liu、Ben Burtenshaw、Thomas Wolf、Alex Pentland、Zichen Chen、Zhangchen Xu
摘要：AI 智能体能否自主训练出有用的语言模型，并利用用户的反馈加以改进？我们推出了 RSI Arena，这是一项关于自主后训练的两阶段研究，作为迈向递归自我改进的一步。十个前沿模型充当训练智能体，每个都从 NVIDIA Nemotron 3.5 Lightning 30B-A3B Base 出发。在为期六天的第一阶段中，每个智能体在共享的 64 GPU 集群上拥有 1,000 GPU 小时和 300 美元的 API 额度，独立选择数据、实施训练流程并挑选检查点。我们在 20 个基准上评估它们的模型，并进行盲测人工评估。所有十个智能体都产出了可用的助手，其中最强的模型（由 GPT-6 Astra 训练）在 12 个能力基准上将基础模型到 Instruct 模型的差距中位数缩小了 76%。在对回答长度和格式进行统计调整后，其人类偏好评分也接近 NVIDIA Instruct。在第二阶段，每个智能体会收到涉及其中第一阶段模型的对比记录和投票，并获得三天额外时间进行进一步训练。以 NVIDIA Instruct 作为两轮评估的共同参照，我们观察到十个模型中有八个的风格调整后相对评分从第一阶段到第二阶段有所提升。我们发现基准测试的提升较为有限，且与偏好提升之间没有明确联系，而部分智能体倾向于生成更长的回答，另有一个模型在 StrongREJECT 上的有害顺从性有所上升。RSI Arena 为研究人类反馈如何引导自主模型开发提供了一个可审计的环境。它朝着带有人类反馈的递归自我改进（RSIHF）迈出了一步——在这一范式下，人们参与定义其所用 AI 系统的“改进”意味着什么。
| 评论： | 39 页。项目网站：此 https 链接 |
| 学科： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用格式： | arXiv:2610.33624 [cs.CL] |
| （本版本为 arXiv:2610.33624v1 [cs.CL]） | |
| https://doi.org/10.48550/arXiv.2610.33624 通过 DataCite 发放的 arXiv DOI（待注册） |
提交历史
来自：Yue Huang [查看邮件]
[v1]
2026年10月24日 星期六 11:54:45 UTC（1,583 KB）
来源：arXiv cs.AI · arxiv.org