Unsloth 发布 Qwen3.8-27B Dynamic V3.1 量化版本

Unsloth 于 11 月 11 日发布 Qwen3.8-27B 的 Dynamic V3.1（预览版）量化版本，提供 GGUF 与 NVFP4 格式。据其称，新 GGUF 在相同体积下于多数基准测试中平均提升 5-10% 的精度。 本地运行条件各有不同：4-bit 量化需 16-19GB 显存（如 RTX 5080、4090 或 24GB 内存的 Mac）；NVFP4 仅支持 NVIDIA Blackwell 系列显卡（如 RTX 50X、DGX Spark、B200、B300），且目前只能在 vLLM 中运行；如使用 SGLang，必须采用 v0.5.19 版本，因为 lm_head 被量化为 FP8。

AI 根据报道生成 · 12 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。