跳到正文
Hugging Face Blog·· 1 天前精选AI 评分73

Thinking Machines Lab 发布 Inkling 2 Mini,面向本地部署的循环层多模态 MoE 模型

Welcome Inkling 2 Mini, Cutting-edge Performance for your Local Setup

AI 导读

Hugging Face 与 Thinking Machines Lab 发布 Inkling 2 Mini,一个约 26B 总参数、每 token 激活 3B 的多模态 MoE 模型,中间 12 层循环执行三次,等效 48 层访问,支持 1M token 上下文和图像文本输入。

推荐理由

原文解释了循环层架构带来的容量技巧,并给出 transformers、llama.cpp、MLX 和 SGLang 的具体用法,适合评估本地部署选项。

来源:Hugging Face Blog · huggingface.co