CarbonRouter：跨数据中心碳感知 LLM 路由框架发布

Xiaoyang Zhang 等在 arXiv 发布 CarbonRouter 论文，提出一个面向多轮 LLM 网页服务的碳感知在线路由框架，可为每个查询联合选择模型、GPU 类型与所在区域以降低碳排放。它引入缓存感知的碳成本模型，计入 KV cache 历史重算产生的碳排放。 论文的踪迹驱动实验基于两个真实对话数据集，覆盖 5 个 LLM、3 种 GPU 类型和 4 个区域。作者称，在同等动作空间下，CarbonRouter 相较现有碳感知路由器 FairCarbon 平均减少 16.1% 的二氧化碳排放，同时提高预测答案质量和估计时延。

AI 根据报道生成 · 34 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。