跳到正文
Hacker News· k__·· 4 小时前AI 评分60

LookAtMyQuant 开源量化编译器,将 Inkling-2-Mini 压缩至 5.4 GB

Inkling-2-Mini in 5.4 GB Memory

AI 导读

LookAtMyQuant 量化编译器通过测量每段权重的压缩损失并按预算分配编码,将 thinkingmachines/Inkling-2-Mini 从 18.89 GB 压至 5.38 GB(1.63 bits/weight)和 8.87 GB(2.69 bits/weight)。

来源:Hacker News · github.com