EdgeCIM：面向边缘端小语言模型的CIM加速框架

研究团队提出EdgeCIM，一个用于在边缘设备上加速小语言模型（SLM）自回归解码的软硬件协同设计框架，核心包括65 nm实现的CIM macro和基于tile的映射策略，并发布了基准结果。 框架内置模拟器，可对最高4B参数的模型进行设计空间探索，按可配置目标函数优化延迟和能耗的硬件配置。论文称，在LLaMA3.2 3B（INT4）上，EdgeCIM吞吐量分别比MAXN模式下的NVIDIA Jetson AGX Orin和Orin Nano Super高1.76倍和3.21倍，比高通骁龙X Elite高7.07倍；INT4精度下平均达到336.4 tokens/s和173 tokens/J。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。