TileQuant：以Tile为精度分配单元的LLM混合精度PTQ
热点事件持续更新
TileQuant：以Tile为精度分配单元的LLM混合精度PTQ
1 篇报道1 个报道来源3 小时前更新
先了解这件事
AI 综述
Hanzhi Zhang 等研究者发布论文，提出免训练的 LLM 混合精度训练后量化框架 TileQuant，将量化精度分配到与硬件对齐的 2D 权重 tile。在每个投影层的保留预算内，打分最高的 tile 保留 16-bit，其余用 8-bit。 论文称，实验显示该方法生成吞吐达到原模型的 2.66 倍，并在语言建模、推理、长上下文检索和问答等任务上保持质量，部分任务上超过量化及原始模型。
AI 根据报道生成 · 2 小时前更新
最新进展11月6日 13:00
TileQuant：以 Tile 为精度分配单元的 LLM 混合精度训练后量化框架报道时间线
沿着报道，了解事件的不同侧面。
11月6日
- arXiv cs.AITileQuant：以 Tile 为精度分配单元的 LLM 混合精度训练后量化框架
TileQuant 是一个免训练的 LLM 混合精度训练后量化框架，将精度分配到与硬件对齐的 2D 权重 tile。校准后打分最高的 tile 保留 16-bit，其余用 8-bit，生成吞吐达到原模型的 2.66 倍。在语言建模、推理、长上下文检索和问答任务上保持质量，并在多个任务上超过量化及原始模型。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。