JudgmentBench：律师标注数据比较量表评分与偏好比较两种评测方法

Stanford 等机构作者发布 JudgmentBench 基准，含 30 项真实法律任务、1,539 条量表评分和 1,530 条成对偏好判断，均由资深执业律师标注，已被 NeurIPS 2026 Evaluations and Datasets Track 接收。初步实验显示成对比较恢复质量排序的能力明显更好：per-task Spearman 相关系数 0.908 对 0.150，且标注时间不到一半，该模式在人类标注者和 LLM 自动评分者中均成立。 作者称这是首个在高手专业领域由同一批专家、在相同任务上同时给出两种监督信号的公开数据集，为评测方法选择提供了可比对的依据。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。