LookAtMyQuant 开源量化编译器,将 Inkling-2-Mini 压缩至 5.4 GB
Inkling-2-Mini in 5.4 GB Memory
AI 导读
LookAtMyQuant 量化编译器通过测量每段权重的压缩损失并按预算分配编码,将 thinkingmachines/Inkling-2-Mini 从 18.89 GB 压至 5.38 GB(1.63 bits/weight)和 8.87 GB(2.69 bits/weight)。
来源:Hacker News · github.com