Zyphra发布分层注意力机制ZHA，让大模型按需读取超长文本
热点事件持续更新
Zyphra发布分层注意力机制ZHA，让大模型按需读取超长文本
1 篇报道1 个报道来源3 小时前更新
先了解这件事
AI 综述
Zyphra研究团队开发了名为ZHA的分层注意力机制，把模型读过的历史内容打包成类似书本目录的树状结构，让大模型只读取相关片段而非全文。接入ZHA的通义千问模型在25.6万token的检索、数学推理和写代码测试中，每次只需读取1%到6%的历史记录，分数几乎与全文阅读持平，长文本检索准确率比同类稀疏注意力工具MSA高出12.7个百分点。
AI 根据报道生成 · 1 小时前更新
最新进展11月4日 23:54
ZHA（Zyphra 分层注意力机制）解析：用树状目录索引帮大模型快速处理超长文本报道时间线
沿着报道，了解事件的不同侧面。
11月4日
- Gorden Sun (@Gorden_Sun)ZHA（Zyphra 分层注意力机制）解析：用树状目录索引帮大模型快速处理超长文本
Zyphra 研究团队介绍其开发的 ZHA 分层注意力机制，把历史内容打包成树状目录结构，让大模型只读取相关片段而非全文。接入 ZHA 的通义千问模型在 25.6 万 token 的检索、数学推理和写代码测试中，每次只需读取 1% 到 6% 的历史记录，分数几乎与全文阅读持平，长文本检索准确率比同类稀疏注意力工具 MSA 高出 12.7 个百分点。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。