跳到正文
热点事件持续更新

作者用编码代理将三权重LLM部署到FPGA并优化至213 tokens/s

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

作者 ankitvgupta 发文复盘,用编码代理在 AWS F2 FPGA 实例上把三进制权重的大语言模型部署为推理芯片,并将速度优化至约 213 tokens/s,称这次经历让他体会到在充足 token 预算下把模型指向有趣问题所能做到的事。 他提到该 FPGA 的 HBM 内存有限,只有 16 GB,且明确表示并不认为这种 8192 token 上下文的模型跑在 FPGA 上的方案适合推荐给生产环境使用。

AI 根据报道生成 · 22 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月21日
  1. Hacker News
    我用编码智能体把 FPGA 变成大语言模型推理芯片

    作者 ankitvgupta 记录用编码智能体在 AWS F2 FPGA 实例上运行三进制权重大语言模型的完整经历。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。