跳到正文
热点事件持续更新

论文:失败轨迹助agent笔记改进,但效果有限

1 篇报道1 个报道来源3 小时前更新

先了解这件事

AI 综述

Arkid Mitra 与 Snehil Saluja 发布 arXiv 论文,用固定权重的 90 亿参数开源模型、由更大的教师模型写笔记,评估 agent 能否从失败轨迹中改进笔记。结论是“能,但低于表面看起来的效果”。在生成的客服决策任务上,基于失败的笔记比不接触失败的流程准确率提升 4.0 个百分点,但仅靠尝试并保留更优笔记的流程已达到总提升的约 60%。 局限同样明确:在完整客服对话中,同样的笔记未显示改进;盲审还判定 240 个工具使用测试项中 146 个有缺陷。

AI 根据报道生成 · 59 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月14日
  1. arXiv cs.AI
    冻结权重下的智能体自我改进:失败轨迹的价值与局限

    arXiv 论文评估 AI 智能体的 harness 能否从失败轨迹中学习。研究用固定权重的 90 亿参数开源模型测试,由更大的教师模型写笔记:在生成的客服决策任务上,基于失败的笔记比不接触失败的流程准确率提升 4.0 个百分点,而仅靠尝试并保留更优笔记的流程已达到总提升的约 60%;在完整客服对话中同样的笔记未显示改进。盲审还判定 240 个工具使用测试项中 146 个有缺陷。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。