研究测量印度语言分词器"token税"成本差距

Johin Arimbur 等人在 arXiv 发布论文（arXiv:2611.13058），测量 9 个公开分词器（含 GPT-4、GPT-4o、Qwen2.5、DeepSeek-V3、Mistral-Nemo 和 4 个 Sarvam 模型）对印度 25 种语言的分词差异，发现同一内容需要的 token 数远高于英语。 论文称，在 GPT-4o 分词器下，同样内容需要的 token 为英语的 1.57 倍（印地语）到 5.01 倍（奥里亚语），桑塔利语 Ol Chiki 文字达 13.7 倍；GPT-4 分词器最高达 12.8 倍。 按 2026 年 11 月 5 日查询的官方牌价和设定假设的示例场景，一个每月处理 10 万次对话、使用 GPT-4o 的客服机器人，英语成本约 56,640 卢比，马拉地语约 102,829 卢比；论文说明这只是估算，并非实际生产成本。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。