研究：小型模型路由器按能力分流可大幅降本提速

Sailendra Kolluru 与 Maheshkumar Duvvarapu 在 arXiv（arXiv:2611.16414）发布研究，用提示词驱动的小语言模型（Qwen2.5，1.5B 至 14B 参数）对推理、检索、网络搜索和工具调用四种能力做独立路由决策，并检验提示词优化能否弥补小路由器容量不足。 结果显示，14B 路由器的平均 BERTScore F1 为 0.8408，与全部能力开启时的 0.8418 接近，同时将平均下游 token 消耗减少 68.7%（8837 降至 2764）、中位下游延迟降低 80.5%（9.79 秒降至 1.91 秒）。 论文说明，这些节省不含路由器本身的开销；路由器开销在另一推理环境中单独测量，且随路由器容量增大而增加。

AI 根据报道生成 · 30 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。