研究剖析聚类最优传输激活转向与量化鲁棒性

Illia Makarov 在 arXiv:2610.40055 发文，研究 CHaRS 一类聚类最优传输激活转向方法在 Gemma-2-2B 和 Granite-3.1-2B 上缓解毒性的效果，并证明其位移按聚类规模加权平均后恒等于常用的 DiM 单向量方法。 论文还考察 INT8 和 NF4 量化下的表现：同等强度下该方法困惑度略高于 DiM，但在相同毒性水平上略更流畅；将该方法从全精度模型迁移到 NF4 模型（而非重新拟合），经多重检验校正后未引入显著毒性。

AI 根据报道生成 · 46 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。