SkillEval：结合认知诊断模型的可解释LLM评测框架

Berke Arda 等研究者在 arXiv 发布论文，提出 SkillEval 评估框架：利用大语言模型的元认知能力自动发现可解释技能，并结合心理测量学的认知诊断模型（CDM）估计各模型的逐技能能力画像。 实验覆盖 MATH、BBH、GPQA、MuSR、IFEval 五个基准上的 3,811 个大语言模型和 9,523 个题目。作者称，该框架产出的能力画像比平均分更可靠、信息更丰富，并能更好预测模型在未见过题目上的表现。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。