arXiv cs.AI· Hongyu Li, Xinlong Huang, Zhan Yu, Jing Zhao, Zhe Zhao, Juntao Zhong, Xiong Kuang, Rui Yuan, ZhenXiang Yan, Huilin Xu, Haitao Yu, Lilin Wang, Rui Chen, Blaze Chen, Fengzong Lian, Renfen Hu·· 2 小时前AI 评分44
DiagSafe：用提示词级评分规则诊断评估 LLM 安全性
Beyond Binary Labels: Diagnostic Evaluation of LLM Safety with Prompt-Level Rubrics
AI 导读
研究者提出 DiagSafe 框架，用提示词级评分规则取代二元安全标签，基于 84 类安全分类构建中英双语基准，含 DiagBase 和 DiagAttack 两个子集。该框架与人工标注一致率达 95.34%，高于基线的 69%-87%，评判间 Cohen's κ 为 0.864。测试显示主流 LLM 的不安全率差异明显，模型在中文和多轮对话场景下更易出问题。
来源：arXiv cs.AI · arxiv.org