补丁仓库为 llama.cpp 添加 Arm NEON 内核，prompt 处理最高提速 6.5x
热点事件持续更新
补丁仓库为 llama.cpp 添加 Arm NEON 内核，prompt 处理最高提速 6.5x
1 篇报道1 个报道来源4 小时前更新
先了解这件事
AI 综述
一个补丁仓库为 llama.cpp v0.9.0 的 tiled K-quant matmul 添加了原本缺失的 Arm NEON（SDOT）内核，在 AWS Graviton2、3、4 服务器上测试，低比特量化模型的 prompt 处理最高提速 6.5x：IQ3_M 在 Neoverse N1 上从 11.5 提升至 74.5 tokens/s，V1、V2 分别提速 4.9x 和 4.3x。 测试条件有限：仅在一台租用的 Arm 服务器上用 Qwen2.5 1.5B 小模型、4 线程、512-token prompt 测量，且并非在手机上测试；只有 prompt 处理变快，生成阶段不使用该内核。 该补丁尚未提交给 llama.cpp 官方仓库。
AI 根据报道生成 · 1 小时前更新
最新进展11月13日 18:28
为 llama.cpp 添加 Arm NEON 内核，prompt 处理最高提速 6.5x报道时间线
沿着报道，了解事件的不同侧面。
11月13日
- Hacker News为 llama.cpp 添加 Arm NEON 内核，prompt 处理最高提速 6.5x
一个仓库为 llama.cpp v0.9.0 的 tiled K-quant matmul 补上缺失的 Arm NEON（SDOT）内核，IQ3_M 在 Neoverse N1 上 prompt 处理从 11.5 提到 74.5 tokens/s（6.5x），V1、V2 分别提速 4.9x 和 4.3x。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。