PReMISE：将策略评分标准作为 LLM 评测裁判的测量规范

论文提出 PReMISE 框架，基于成对人类偏好数据自动发现策略级评分标准集，并从结构充分性、可靠性、偏好契合度和对抗鲁棒性四个维度审计 LLM 裁判所用评分标准。研究引入偏好排序选择将裁判准确率从 65.0% 提升至 68.6%，可靠性约束优化将 exploit 回复获高分比例从 46.4% 降至 36.0%，且裁判间一致性基本不变（α=.531→.519）。