Edge0 开源 145B 端侧模型,笔记本本地可跑并称对标云端前沿模型
Edge0-145B: Frontier AI Capabilities on Your Own Computer
AI 导读
Edge0 今日开源 Edge0-145B 与 Edge0-120B 及统一推理框架和部署工具,称 Edge0-145B 是首个 1450 亿参数开源端侧模型,可在兼容笔记本本地运行,报告峰值内存 29GB、解码超 80 tokens/s。
来源:Hacker News · edge0.ai
Edge0-145B: Frontier AI Capabilities on Your Own Computer
Edge0 今日开源 Edge0-145B 与 Edge0-120B 及统一推理框架和部署工具,称 Edge0-145B 是首个 1450 亿参数开源端侧模型,可在兼容笔记本本地运行,报告峰值内存 29GB、解码超 80 tokens/s。
来源:Hacker News · edge0.ai