提出DMR框架：多步推理中动态切换模型高低精度
热点事件持续更新
提出DMR框架：多步推理中动态切换模型高低精度
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
论文作者提出动态混合精度路由（DMR）框架，在LLM多步交互推理中由轻量级路由器逐步选择同一模型的高精度或低精度版本，只训练识别约1%量化敏感“关键步骤”的路由器，并复用共享高精度KV cache。据论文称，每步切换开销小于1 ms，路由额外延迟低于0.11%，嵌套量化下内存占用较FP16平均降低39%。 效果方面，论文称在三个长程智能体基准上配合嵌套量化，DMR在不微调底层模型的情况下，任务成功率相近时解码速度较FP16平均提升2.44倍；例如在ALFWorld上使用GPTQ量化时，解码提速1.71倍，成功率86.9%（FP16为87.2%）。
AI 根据报道生成 · 51 分钟前更新
最新进展11月11日 13:00
DMR：动态混合精度路由提升 LLM 多步交互推理效率报道时间线
沿着报道，了解事件的不同侧面。
11月11日
- arXiv cs.AIDMR：动态混合精度路由提升 LLM 多步交互推理效率
研究提出动态混合精度路由（DMR）框架，在每个交互步骤自适应选择同一 LLM 的高精度或低精度版本。该方法仅训练轻量级路由器识别约 1% 的量化敏感“关键步骤”，复用共享高精度 KV cache，实现每步切换开销小于 1 ms、路由额外延迟低于 0.11%，嵌套量化下内存占用较 FP16 平均降低 39%。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。