Thinking Machines Lab 发布 Inkling 2 Mini,面向本地部署的循环层多模态 MoE 模型
Welcome Inkling 2 Mini, Cutting-edge Performance for your Local Setup
AI 导读
Hugging Face 与 Thinking Machines Lab 发布 Inkling 2 Mini,一个约 26B 总参数、每 token 激活 3B 的多模态 MoE 模型,中间 12 层循环执行三次,等效 48 层访问,支持 1M token 上下文和图像文本输入。
推荐理由
原文解释了循环层架构带来的容量技巧,并给出 transformers、llama.cpp、MLX 和 SGLang 的具体用法,适合评估本地部署选项。