研究者提出消息传递后训练量化方法MPQ
热点事件持续更新
研究者提出消息传递后训练量化方法MPQ
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
Yanshuo Chen 等研究者在 arXiv 发布论文，提出后训练量化方法 MPQ（Message-Passing Quantization），将逐行后训练量化建模为离散码本上的后验推断：推断过程中保留跨权重块的软后验信息，只在输出阶段提交硬码字。方法先用 vector approximate message passing 计算近似块后验，再用精确块坐标下降优化硬决策初始化。 论文称，在 Llama、Qwen、Mistral 系列稠密语言模型上进行 2-bit 格量化及 3-bit、4-bit 标量量化时，MPQ 在困惑度和零样本准确率上优于强硬决策基线。
AI 根据报道生成 · 1 小时前更新
最新进展10月26日 12:00
MPQ：从消息传递视角看大语言模型训练后量化报道时间线
沿着报道，了解事件的不同侧面。
10月26日
- arXiv cs.AIMPQ：从消息传递视角看大语言模型训练后量化
研究者提出消息传递量化方法 MPQ，将逐行训练后量化（PTQ）转化为离散码本上的后验推断，在推断过程中保留跨权重块的软后验信息，仅在输出阶段提交硬码字，先用 vector approximate message passing 计算近似块后验，再用精确块坐标下降优化。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。