跳到正文
热点事件持续更新

DecompGym基准发布:评测编码Agent编写分解求解器能力

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

DecompGym 作者团队发布论文并推出基准 DecompGym,用九类问题共 81 个实例,测试编码智能体编写 Benders 分解和列生成求解器的能力,评估对象涵盖 12 个 GPT、Claude 和 Gemini 模型。 求解器须在 60 秒内执行、通过 LLM 评委的方法审计,且目标值误差在 1% 以内。据论文结果,首次尝试中两个模型解开全部实例,七个模型解开超过 90%;反思式重试的成功率为 66%,高于重新生成的 39%。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月31日
  1. arXiv cs.AI
    DecompGym:评测 LLM 智能体设计分解算法的基准

    DecompGym 是一个包含九类问题 81 个实例的基准,测试编码智能体编写 Benders 分解和列生成求解器的能力,评估对象涵盖 12 个 GPT、Claude 和 Gemini 模型。求解器须在 60 秒内执行、通过 LLM 评委的方法审计且目标值误差在 1% 内;首次尝试中两个模型解开全部实例,七个模型解开超过 90%。反思式重试成功率达 66%,高于重新生成的 39%。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。