跳到正文
arXiv cs.AI· Mich-Seth Owusu·· 1 天前AI 评分44

Africa-Papers:面向非洲基础模型的 100 亿 token 多领域学术语料库

Africa-Papers: A 10-Billion-Token Multi-Domain Academic Corpus for African Foundation Language Models

AI 导读

研究者发布 Africa-Papers,迄今最大的多领域泛非学术预训练语料库,包含 844,807 篇全文论文、101.5 亿 token、879 个 Parquet 分片,已在 Hugging Face Hub 的 AfriSpeech 组织下开源。

来源:arXiv cs.AI · arxiv.org