RubricCraft论文提出基于求解轨迹自动生成评分规则

Hasanbeig等研究者在arXiv发布论文介绍RubricCraft方法：把评分规则（Rubric）的构建视为由候选解法引导的自然语言规范生成，通过比较独立采样的求解轨迹如何满足或违反任务要求来提炼评测标准，并迭代修订。 论文报告的实验条件为：在SpreadsheetBench v2上，与由同一模型编写并应用的纯提示评分规则相比，RubricCraft的评分规则让更少的错误输出通过（29.5%对42.6%）。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。