无量火 Ember 推理引擎让 30B 大模型跑进手机,推理质量无损
30B大模型跑进手机,推理引擎开始自我进化
AI 导读
无量火科技在9月高通骁龙峰会上与高通联合发布Ember推理引擎,让手机跑通30B大模型,模型无需额外改动即可砍掉大部分内存占用且推理质量无损。Ember采用预测性部分加载,将MoE模型内存占用降低80%、Dense模型降低50%,并通过深度学习实现推理速度随使用自进化。其上的AI原生操作系统FlareOS仅需300MB出头运行内存,2027年1月CES将发布软硬一体化产品。
来源:量子位 · mp.weixin.qq.com