跳到正文
热点事件持续更新

新方法用免执行的仓储级评分标准评测编码代理

1 篇报道1 个报道来源53 分钟前更新

先了解这件事

AI 综述

Matej Gerek 等在一篇 arXiv 论文中提出一种免执行的编码代理评测方法:智能体先探索改动前的代码仓库,生成加权的二元评分标准,再由无工具的 judge 模型按 diff 满足标准的比例打分。该方法是将原本用于候选补丁筛选的 agentic rubrics 改造为衡量补丁满足任务要求程度的免执行指标。 作者称,其验证并未确立分数的绝对大小或超出与测试一致性之外的要求满足程度。

AI 根据报道生成 · 22 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月20日
  1. arXiv cs.AI
    面向代码智能体免执行评测的仓库级 Rubric 方法(arXiv 论文)

    一篇 arXiv 论文提出将 agentic rubrics 改造成免执行的代码智能体评测方法:智能体先探索改动前的仓库并生成加权二元标准,再由无工具的 judge 按满足比例给 diff 打分。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。