SANE：LLM 裁判自动变形测试框架

研究人员提出 SANE，一个基于智能体的自动化测试框架，可为 LLM judge（大语言模型裁判）自动生成评分器特定的扰动测试用例并验证其有效性，以测试其可靠性。 论文称，在五个领域中，SANE 生成的有效测试族数量是 Judge Reliability Harness（JRH）的 3.7 倍，并在专业性与毒性等 JRH 检测不到问题的领域发现了评分器缺陷。其测试套件得分对 11 个裁判模型的排序与 FaithBench 人工标注表现一致（Spearman rho = 0.852）。该论文的一个较短版本已被 NeurIPS 2026 TAE 非存档研讨会接收用于展示。

AI 根据报道生成 · 57 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。