TrnRT 开源:面向 AWS Trainium 的 LLM 推理引擎,首支持 GLM-5.3-Flash
Show HN: TrnRT – An open-source LLM inference engine for AWS Trainium
AI 导读
RunAnywhere 开源 TrnRT,一个在 AWS Trainium2 上服务大语言模型的开源推理引擎,单台 trn2.48xlarge 提供 OpenAI 兼容 API,decode 以 NKI megakernels 方式运行,并支持跨设备与主机内存的 prefix cache。
来源:Hacker News · github.com