跳到正文
热点事件持续更新

OSCAR论文v2更新:2-bit KV缓存量化的离线谱协方差旋转方法

1 篇报道1 个报道来源3 小时前更新

先了解这件事

AI 综述

Zhongzhu Zhou 等研究者在 arXiv 更新 OSCAR 论文 v2。OSCAR 是一种 2-bit KV cache 量化方法,通过离线估计注意力感知的协方差目标,推导出逐层固定的旋转和裁剪阈值。 v2 版本新增了与基线匹配的对比实验、残差诊断以及扩展的长上下文分析,论文还讨论了将其集成到 SGLang、vLLM 等现代推理引擎中。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月14日
  1. arXiv cs.AI
    OSCAR:面向 2-bit KV cache 量化的离线谱协方差感知旋转方法

    研究者提出 OSCAR,一种超低比特 KV cache 量化方法,通过离线估计注意力感知的协方差目标来推导逐层固定旋转和裁剪阈值。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。