发布覆盖204语言的多词分词器Havon
热点事件持续更新
发布覆盖204语言的多词分词器Havon
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
Johin Arimbur 等人在 arXiv 提交论文，发布多词分词器 Havon（含 v3、v4、v5 三个版本），在约 200 种人类书写语言的文本上从零训练，覆盖 204 种语言，包括英语在内多数语言的 token 消耗低于 GPT-4o 的 o200k_base 分词器。 论文作者说明，这些只是压缩效果的比较：目前尚未用 v4 或 v5 训练并评测过模型，实际对下游模型表现的影响还未知。
AI 根据报道生成 · 1 小时前更新
最新进展11月11日 13:00
覆盖 204 种语言的多词分词器 Havon，英语 token 数也低于 GPT-4o报道时间线
沿着报道，了解事件的不同侧面。
11月11日
- arXiv cs.AI覆盖 204 种语言的多词分词器 Havon，英语 token 数也低于 GPT-4o
arXiv 论文提出多词分词器 Havon，共 v3、v4、v5 三个版本，在 204 种语言上实现比 GPT-4o 的 o200k_base 更低的 token 消耗。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。