Lafa：面向大流量语言模型的研究

一篇 arXiv 论文提出 Lafa（Large flow language model），一种扩展到 8B 参数的连续流语言模型，采用块内因果注意力前缀与双向异步流设计，可基于预训练自回归模型高效训练，仅用不到 30B tokens 训练了 0.5B、7B 和 8B 三个规模。