Francis YAO (@Francis_YAO_)· Yao Fu·· 2 天前AI 评分35
分享基于 Qwen3 的分块 KV 压缩模型构建与相位敏感性评测实验仓库
RT Xingyu Zhu: Sharing the experiment repo for phase-sensitivity evaluation and the qwen3-derived chunked KV compression model construction here: http...
AI 导读
Xingyu Zhu 分享了相位敏感性评测实验仓库及基于 Qwen3 构建的分块 KV 压缩模型。实验显示 DeepSeek-V4 在相同代码和问题下，随前缀装饰性 docstring 每两个 token 变化而翻转答案，NIAH 准确率随 needle 位置在固定 4-token 周期上波动最高达 40 分，团队解释了这与分块 KV-cache 压缩的关系。
来源：Francis YAO (@Francis_YAO_) · x.com