跳到正文
arXiv cs.AI· Matthew Li, Albert Liang, Dilip Raj·· 53 分钟前精选AI 评分61

MLE Agents 论文:LLM 智能体在大规模推荐系统中自主完成机器学习工程

MLE Agents: Autonomous ML Engineering in Large-scale Recommendation Systems

AI 导读

arXiv 论文提出 human-on-the-loop 的 MLE 智能体,在大规模搜索排序系统上自主提出、实现、训练并评估模型改动。某次活动中系统完成 1,097 个候选实验并接受 325 个,接受率 29.6%,此前不同目标与搜索约束下为 15.6%;最佳模型在大规模 A/B 测试中将搜索量提升 0.23%。

推荐理由

论文报告了 MLE 智能体在工业级搜索排序系统上的真实实验结果,包括接受率对比与 A/B 指标,可用作评估智能体能否做真实机器学习工程的参考。

正文 · AI 翻译

查看 PDF HTML (实验性)

摘要:改进大规模排序与推荐模型的典型工作流程缓慢而繁琐:工程师提出假设、将其实现为代码改动、训练模型,并在线下和线上进行评估,过程中往往依赖自己的直觉与经验。自主 LLM 智能体有望通过自主运行这一循环来加速此过程,但目前尚不清楚它们能否在工业级系统中做到这一点,而非仅在基准测试或小型代理任务上。我们构建了人机回环(human-on-the-loop)的机器学习工程师(MLE)智能体,可在大规模搜索排序器上提出、实现、训练并评估模型改动。工程师保留对目标设计、搜索方向和最终模型审核的控制权。我们识别出使这一工业场景充满挑战的三个障碍:每次实验的反馈需要数小时,线下指标并不总能预测线上效果,而且在早期成果之后改进会趋于饱和。我们通过并行训练运行、一个与线上影响校准一致的目标,以及精心的上下文工程来解决这些问题。在一次活动中,系统运行了 1,097 个已完成的候选实验并接受了 325 个,接受率为 29.6\%,而在更早的一次活动中,在不同的目标和搜索约束下,接受率为 15.6\%。其最佳模型在一场大规模 A/B 测试中将搜索量提升了 0.23\%。若干改进是团队从未尝试过的架构性改动,取材于更广泛的业界实践与文献,这表明 MLE 智能体能够探索人类直觉所忽视的设计空间区域。我们发现围绕模型的 harness(工具框架)的设计至关重要:直觉认为更强大的底层模型就足够了,但根据我们的经验,围绕模型的循环设计同样关键。更广泛地说,我们的工作表明自主智能体能够在工业级系统中进行真正的机器学习工程。
评论: NeurIPS 2026 AutoMLR Workshop (oral)
学科分类: 人工智能 (cs.AI)
引用格式: arXiv:2611.23910 [cs.AI]
  (本版本为 arXiv:2611.23910v1 [cs.AI])
  https://doi.org/10.48550/arXiv.2611.23910

arXiv-issued DOI via DataCite(注册中)

提交历史

来自:Matthew Li [查看邮件]
[v1] 2026年11月18日 星期三 06:00:43 UTC (7,054 KB)

来源:arXiv cs.AI · arxiv.org