arXiv cs.AI· Berke Arda, Peng Cui, Qiaoyuan Zheng, Rudolf Debelak, Mubashara Akhtar, Mrinmaya Sachan·· 4 小时前AI 评分45
SkillEval：用认知诊断模型学习大语言模型的可解释能力画像
SkillEval: Learning Interpretable Ability Profiles of LLMs via Cognitive Diagnosis Models
AI 导读
研究者提出 SkillEval 评估框架，利用大语言模型的元认知能力自动发现可解释技能，并结合心理测量学的认知诊断模型（CDM）估计各模型的逐技能能力。实验覆盖五个基准（MATH、BBH、GPQA、MuSR、IFEval）上的 3,811 个大语言模型和 9,523 个题目，产出比平均分更可靠、信息更丰富的能力画像，并更能预测模型在未见过题目上的表现。
来源：arXiv cs.AI · arxiv.org