arXiv cs.AI· Ilker Kesen, Jenny Kunz, Kasra Malihi, Desmond Elliott·2026-10-23 12:00· 2 小时前AI 评分42

MPIXEL 像素语言模型的多语言预训练扩展研究

Scaling Multilingual Pretraining of Pixel Language Models

AI 导读

arXiv 论文提出 MPIXEL 像素语言模型系列，沿语言数、文字种类和模型容量三个轴扩展多语言预训练。在覆盖 83 种语言的五项任务评测中，各扩展轴只改善新增语言和文字，容量提升可缓解多语言诅咒，但对未见文字的迁移无进一步提升；模型在类型学上遥远的低资源语言上优于子词和字符级基线。