如何在多语言预训练中使用平行数据

一项 arXiv 研究探究如何利用机器翻译网页语料的平行结构提升多语言预训练：将文档与其翻译拼接进同一训练序列（PPT）并与标准预训练（SPT）在相同 token 预算下从头训练对比。结果显示 PPT 单独使用并不能稳定提升语言理解，但能建立更强的跨语言基础。据此提出先用 PPT 再接 SPT 的两阶段方法，在高资源和低资源设置下均持续优于单独标准预训练。