研究者发布NaijaFacts基准,揭示模型对尼日利亚知识薄弱
热点事件持续更新
研究者发布NaijaFacts基准,揭示模型对尼日利亚知识薄弱
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
Zainab Afolabi 等在 arXiv 发布 NaijaFacts 基准:一个由母语者撰写、基于官方统计数据的尼日利亚事实问答基准,每道题有英语、尼日利亚皮钦语、约鲁巴语、伊博语和豪萨语五个语言版本,用于把语言能力与事实知识的影响分开衡量。 在八个前沿及尼日利亚适配模型上测试显示知识效应占主导:美国/英国问题的英语查询准确率为 49–50%,尼日利亚问题仅 20%;最强模型在英美问题上达 66–79%,但在尼日利亚统计题上无一超过 31%。
AI 根据报道生成 · 1 小时前更新
最新进展11月5日 13:00
NaijaFacts:一个将语言能力与事实知识解耦的尼日利亚事实基准框架报道时间线
沿着报道,了解事件的不同侧面。
11月5日
- arXiv cs.AINaijaFacts:一个将语言能力与事实知识解耦的尼日利亚事实基准框架
NaijaFacts 是一个由母语者撰写、基于官方统计数据的尼日利亚事实基准,每道题提供英语、尼日利亚皮钦语、约鲁巴语、伊博语和豪萨语五个版本。在八个前沿及尼日利亚适配模型上测试发现,知识效应占主导:美国/英国问题英语查询准确率为 49–50%,尼日利亚仅 20%;最强模型在英美问题上达 66–79%,但在尼日利亚统计题上无一超过 31%。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。