为 llama.cpp 添加 Arm NEON 内核，prompt 处理最高提速 6.5x
Llama.cpp: 6.5x faster prompt processing on Arm with a NEON kernel
AI 导读
一个仓库为 llama.cpp v0.9.0 的 tiled K-quant matmul 补上缺失的 Arm NEON（SDOT）内核，IQ3_M 在 Neoverse N1 上 prompt 处理从 11.5 提到 74.5 tokens/s（6.5x），V1、V2 分别提速 4.9x 和 4.3x。
来源：Hacker News · github.com