跳到正文
量子位·· 11 小时前AI 评分42

无量火 Ember 推理引擎让 30B 大模型跑进手机,推理质量无损

30B大模型跑进手机,推理引擎开始自我进化

AI 导读

无量火科技在9月高通骁龙峰会上与高通联合发布Ember推理引擎,让手机跑通30B大模型,模型无需额外改动即可砍掉大部分内存占用且推理质量无损。Ember采用预测性部分加载,将MoE模型内存占用降低80%、Dense模型降低50%,并通过深度学习实现推理速度随使用自进化。其上的AI原生操作系统FlareOS仅需300MB出头运行内存,2027年1月CES将发布软硬一体化产品。

来源:量子位 · mp.weixin.qq.com