跳到正文
Startup Fortune· Judith Murphy·· 46 分钟前AI 评分67

如何在评估仪表板误导你之前校准 LLM as a judge

How to calibrate LLM as a judge before your eval dashboard lies to you

AI 导读

文章介绍在依赖评估仪表板前校准 LLM 裁判的方法:手标 50 到 100 条真实输出(其中至少 20 条失败),用 Cohen's kappa 衡量裁判与人类一致度,示例中 86% 的一致率 kappa 仅约 0.46。还给出位置偏差、冗长偏差和自我偏好三类偏差测试,建议每换裁判模型或提示词就重跑标注集,并在每个评估分数旁印上 kappa。

来源:Startup Fortune · startupfortune.com