如何在评估仪表板误导你之前校准 LLM as a judge
How to calibrate LLM as a judge before your eval dashboard lies to you
AI 导读
文章介绍在依赖评估仪表板前校准 LLM 裁判的方法:手标 50 到 100 条真实输出(其中至少 20 条失败),用 Cohen's kappa 衡量裁判与人类一致度,示例中 86% 的一致率 kappa 仅约 0.46。还给出位置偏差、冗长偏差和自我偏好三类偏差测试,建议每换裁判模型或提示词就重跑标注集,并在每个评估分数旁印上 kappa。