研究者提出TriAttention稀疏混合精度注意力方法

Hanzhi Zhang 等研究者在 arXiv 发布论文，提出面向长上下文 LLM 推理的注意力方法 TriAttention。该方法将注意力的 query-key 计算块分配为跳过、4-bit 或 8-bit 三种处理，用两条对角距离边界编码每个 head 的计算区域，并通过离线校准和全局分配器在共享计算预算下最小化误差。 论文作者称，TriAttention 端到端生成速度最高比 Torch 注意力快 7.88 倍，比 BF16 基线快 2.65 倍，同时在通用任务和长上下文任务上保持与原模型相当的质量。这些数据来自论文作者的说法。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。