跳到正文
热点事件持续更新

LEDGE:异构边缘设备分布式LLM服务模拟器发布

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

LEDGE 研究团队在 arXiv 发布论文,提出无需执行张量运算即可快速评估异构边缘设备上分布式 LLM 推理的轻量模拟器 LEDGE,源代码已公开。 该模拟器支持非均匀张量与流水线并行,在 10 台 Jetson 和 Raspberry Pi 设备、17 种模型-精度组合上测试。研究者称,Qwen 部署的请求级平均绝对百分比误差低于 3.6%,模拟较物理推理快 135.3 倍;在四个边缘环境完成 26,773 次模拟仅用 83.8 分钟。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月20日
  1. arXiv cs.AI
    LEDGE:面向异构边缘设备分布式 LLM 推理的高效模拟器

    研究者发布 LEDGE,一款无需执行张量运算即可快速评估异构边缘设备上分布式 LLM 推理的轻量模拟器。它支持非均匀张量与流水线并行,在 10 台 Jetson 和 Raspberry Pi 设备、17 种模型-精度组合上测试,Qwen 部署的请求级平均绝对百分比误差低于 3.6%,较物理推理快 135.3 倍;在四个边缘环境完成 26,773 次模拟仅需 83.8 分钟,源代码已公开。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。