DecompGym基准发布:评测编码Agent编写分解求解器能力
热点事件持续更新
DecompGym基准发布:评测编码Agent编写分解求解器能力
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
DecompGym 作者团队发布论文并推出基准 DecompGym,用九类问题共 81 个实例,测试编码智能体编写 Benders 分解和列生成求解器的能力,评估对象涵盖 12 个 GPT、Claude 和 Gemini 模型。 求解器须在 60 秒内执行、通过 LLM 评委的方法审计,且目标值误差在 1% 以内。据论文结果,首次尝试中两个模型解开全部实例,七个模型解开超过 90%;反思式重试的成功率为 66%,高于重新生成的 39%。
AI 根据报道生成 · 1 小时前更新
最新进展10月31日 12:00
DecompGym:评测 LLM 智能体设计分解算法的基准报道时间线
沿着报道,了解事件的不同侧面。
10月31日
- arXiv cs.AIDecompGym:评测 LLM 智能体设计分解算法的基准
DecompGym 是一个包含九类问题 81 个实例的基准,测试编码智能体编写 Benders 分解和列生成求解器的能力,评估对象涵盖 12 个 GPT、Claude 和 Gemini 模型。求解器须在 60 秒内执行、通过 LLM 评委的方法审计且目标值误差在 1% 内;首次尝试中两个模型解开全部实例,七个模型解开超过 90%。反思式重试成功率达 66%,高于重新生成的 39%。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。