arXiv cs.AI· Wanyi Chen, Wanqin Shen, Yuanchen Shi, Zhensu Sun, Fang Kong·· 1 天前AI 评分37
HSPR：通过分层后验推理恢复软件智能体基准测试分数
HSPR: Recovering Software-Agent Benchmark Scores via Hierarchical Posterior Inference
AI 导读
研究者提出分层分数后验恢复方法 HSPR，用历史响应因子与带不确定性的组成功率，结合后验引导的自适应任务选择，以小预算估计软件智能体在完整基准上的分数。在 SWE-bench 系列四个任务库上以 10% 任务预算评测时，HSPR 在其中三个任务库取得最低平均绝对误差（MAE），四个任务库均取得最低最大绝对误差（MaxErr），且代码与项目资源已公开。
来源：arXiv cs.AI · arxiv.org