如何在演示之前为 LLM 评测设定通过阈值
How to Set LLM Eval Pass Threshold Before the Demo Does It for You
AI 导读
文章讲解如何在跑 LLM 评测之前就写下发布与否的分数门槛,避免看完演示后临时争论 87% 算不算合格。方法包括三个输入:用月对话量、错误率与单次错误成本算出经济底线,用人类评审员的一致率设上限(文中引 MT-Bench 论文中 GPT-4 与人类约 85% 一致、人类之间约 81% 一致),并用 Wilson 置信区间判断发布、暂缓还是补更多用例。