arXiv cs.AI· Noor Abo Mokh, Teresa Lynn, Nizar Habash, Ahmed Elshabrawy, Sara Alhajeri, Alaa Elsetohy, Preslav Nakov, Alham Fikri Aji·· 1 天前AI 评分35
DAR-MGSM:首个方言阿拉伯语数学推理基准发布,评估 11 个大语言模型
Benchmarking Arabic Dialects for Math Problems
AI 导读
研究者推出 DAR-MGSM,首个面向方言阿拉伯语数学推理的人工整理基准,涵盖五大阿拉伯方言及现代标准阿拉伯语(MSA),包含纯翻译版与文化本地化版两个平行版本。对 11 个阿拉伯语中心及多语言大语言模型的评估显示,本地化版本上性能普遍下降,但各模型受影响程度不同。机制可解释性分析表明,同一题目的翻译版与本地化版常引发不同的内部推理轨迹。
来源:arXiv cs.AI · arxiv.org