ZHA（Zyphra 分层注意力机制）解析：用树状目录索引帮大模型快速处理超长文本
ZHA（Zyphra分层注意力机制）：用树状目录索引帮AI大模型快速处理超长文本 现在的AI大模型在阅读长文章或进行长时间对话时，随着字数增加，需要反复从头核对所有...
AI 导读
Zyphra 研究团队介绍其开发的 ZHA 分层注意力机制，把历史内容打包成树状目录结构，让大模型只读取相关片段而非全文。接入 ZHA 的通义千问模型在 25.6 万 token 的检索、数学推理和写代码测试中，每次只需读取 1% 到 6% 的历史记录，分数几乎与全文阅读持平，长文本检索准确率比同类稀疏注意力工具 MSA 高出 12.7 个百分点。