修复预分词正则以降低尼泊尔语token开销

Naamche Labs（Aarjan Chaudhary）发布论文指出，Llama-3、Qwen3 等开源 LLM 的预分词正则只接受 Unicode 字母，导致天城文元音符号被切开，尼泊尔语 token 开销达英语的 2.6 至 5.8 倍，且常规 merge 式词表扩展无法突破约 2.2 的下限。研究提出对部署正则做小幅修改，并证明该修改可保留不含组合符号或天城文字符文本的每一个 token id。 验证方面存在限制：在 Qwen 上把修复方案的训练步骤与标准词表扩展对齐（约 35% 数据重复）时结果顺序反转，在 Llama 上则没有；token 节省能否在生成时带来良好的延迟与质量权衡尚未测试。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。