VCQ提出变长码本量化改进自回归视觉生成
热点事件持续更新
VCQ提出变长码本量化改进自回归视觉生成
1 篇报道1 个报道来源3 小时前更新
先了解这件事
AI 综述
Bowen Zheng等人在arXiv论文中提出变长码本量化方法VCQ，针对离散视觉tokenizer所有位置共用固定大小码本的问题：论文称在ImageNet上K=16384时，仅前2个位置之后条件分布就几乎确定，作者称之为"熵悬崖"。VCQ让码本大小K_t沿序列从K_min=2单调增长到K_max，不改变损失函数、参数量和自回归训练流程。 效果方面，论文称VCQ-Base在标准next-token预测下于ImageNet 256×256取得无CFG的gFID 14.80；扩展后以684M自回归参数达到gFID 1.71，且未使用语义正则化或因果对齐等额外训练技术。
AI 根据报道生成 · 1 小时前更新
最新进展11月6日 13:00
VCQ 提出“熵悬崖”变长码本量化，改进自回归视觉生成报道时间线
沿着报道，了解事件的不同侧面。
11月6日
- arXiv cs.AIVCQ 提出“熵悬崖”变长码本量化，改进自回归视觉生成
一篇 arXiv 论文指出，离散视觉 tokenizer 中所有位置共用固定大小码本的常规设计会快速耗尽有限数据的熵预算：在 ImageNet 上 K=16384 时，仅约 256 个位置中的前 2 个之后条件分布就几乎确定，作者称之为 Entropy Cliff。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。