LLM 推理加速框架 EAGLE-4：辅助模型猜词、生成速度翻倍
推理加速框架 EAGLE-4 通过小型辅助模型快速猜词、主模型批量检查的方式加速大语言模型推理，用户无需改动底层模型，安装 eagle_harness 扩展包并搭配 SGLang 或 vLLM 即可使用。官方在英伟达顶级显卡上用 Qwen 模型实测，单人提问生成速度接近原来的 3 倍，多任务并发时每秒生成字数普遍高出 35% 到 90%，且不降低回答质量。
#部署/工程
Gorden Sun (@Gorden_Sun)AI 评分4848 Gorden Sun (@Gorden_Sun)AI 评分6464 谷歌开源 TorchTPU：让 PyTorch 代码直接运行在 TPU 上
谷歌团队开源 TorchTPU 工具包，通过底层定制计算内核和编译缓存，让 PyTorch 代码无需重写即可在云端 TPU 上训练和运行 Llama、Qwen 等主流大模型。
xicilion (@xicilion)AI 评分5858 DeepSeek 开源自研推理框架 DeepInfer
响马转发 DeepSeek 官宣，称社区升级服务的速度赶不上 DeepSeek 的开源速度，DeepSeek 是当之无愧的 openai。DeepSeek 宣布自研推理框架 DeepInfer 全面开源，该框架以高吞吐、低延迟支撑 DeepSeek-V4.1-Flash 的大规模运行，并公开生产栈以帮助社区降低算力成本和能耗。
dotey (@dotey)AI 评分7575 DeepSeek 开源推理框架 DeepInfer：Apache 2.0 可商用，目前只支持 V4.1-Flash
DeepSeek 将支撑 V4.1-Flash 大规模线上服务的推理框架 DeepInfer 开源，Apache 2.0 协议可免费商用，并配套开源了 MIT 协议的 deepseek-recipe，用于把 OpenAI 和 Anthropic 常见请求格式对齐到官方 API 逻辑。
dotey (@dotey)同事件AI 评分7979 DeepSeek 开源推理框架 DeepInfer，披露 DeepSeek-V4.1-Flash 推理服务吞吐与收入数据
swyx 转述 DeepSeek 在知乎发布并全面开源的自研推理框架 DeepInfer，称其以高吞吐、低延迟支撑 DeepSeek-V4.1-Flash 大规模推理服务。
同一件事，精选收录的是《DeepSeek 开源自研推理框架 DeepInfer》
dotey (@dotey)精选AI 评分7878 Meta 工程师确认已在生产环境用 Google TPU 跑 AI 推理
Meta 的 PyTorch-TPU 负责人 Zongwei Zhou 确认，Google 10 月 20 日发布的 TPU 版 SGLang 推理引擎已在 Meta 生产环境中运行。
推荐理由：原文给出 Meta 一手确认及其保留之处，读者可自行判断这一动向对英伟达 GPU 生态的意义。
36氪 · 快讯AI 评分4040 谷歌云与英伟达宣布 Vera Rubin 基础设施即将商用
10月21日，谷歌云与英伟达宣布，搭载英伟达 Vera Rubin NVL72 系统的 A5X 实例将于下月正式开放，并计划进一步扩展至欧洲市场。该基础设施将用于支撑 AI 智能体推理和强化学习。（字数约90字）
Tom's HardwareAI 评分4646 AMD 与 Intel 将合作统一 PyTorch 在 CPU 上进行 AI 推理的代码路径
AMD 与 Intel 正把两家针对 PyTorch 的 CPU 优化整合进统一的 oneDNN 库，AMD 此前维护的 ZenDNN 下游版本将并入开源的 oneDNN。
Tom's HardwareAI 评分4848 FADU 推出 FS-SSD：把文件系统搬进 SSD 闪存，绕过主机 CPU
FADU 在 2026 OCP Global Summit 上发布 File-Semantic SSD（FS-SSD），将文件系统移入 SSD 内部，让 GPU、DPU 和 NIC 无需主机文件系统、块层或存储服务器 CPU 即可读取文件。
36氪 · 快讯AI 评分5555 英伟达推出 Confidential Bare Metal，将机密计算扩展至 Grace Blackwell 与 Rubin 系统
英伟达推出 Confidential Bare Metal 部署方案，让前沿模型开发商能在第三方专用基础设施上运行敏感工作负载并保留对模型和数据的控制权，通过硬件级隔离、加密验证及访问限制保护运行安全。
Hugging Face BlogAI 评分5555 SimReady Central 发布：2000 多个仿真就绪 OpenUSD 资产库上线 Hugging Face
NVIDIA 与 Hugging Face 推出 SimReady Central Library，汇集超过 2,000 个仿真就绪（SimReady）OpenUSD 资产，免费开放获取，用于机器人训练环境和 AI 工厂数字孪生。
财联社 · 电报AI 评分4545 西门子将 NVIDIA FOX 工厂智能体集成至企业系统 预计可节省20%成本
英伟达表示，西门子正将基于 NVIDIA Factory Operations Blueprint（FOX）构建的智能体集成至其 Intelligence Center X 企业系统，用于识别问题根因并协调工厂运营，预计可节省20%的成本。
财联社 · 电报精选AI 评分6565 英伟达与矽品扩大共同封装光学合作 光引擎产能目标提升15倍
财联社报道，英伟达与矽品精密（SPIL）计划扩大光引擎制造产能，以支持共同封装光学（CPO）技术及大规模计算基础设施的连接需求。双方目标在2027年年中将相关产能提升至目前的15倍，并计划到2028年底再翻一倍。
推荐理由：快讯给出双方明确的产能扩张节奏和目标时点，可用于判断 CPO 供应链的扩张力度。
财联社 · 电报AI 评分5959 谷歌云 Vera Rubin 基础设施计划扩展至多站点96万颗GPU
财联社报道，谷歌云计划将基于英伟达 Vera Rubin 的基础设施扩展至多站点部署，最多96万颗 Rubin GPU。伦敦人工智能公司 Ineffable Intelligence 已率先接入 A5X 实例，用于大规模强化学习及持续学习系统研发，该公司由 AlphaGo 创作者 David Silver 创立。
财联社 · 电报精选AI 评分6060 谷歌云与英伟达宣布基于 Vera Rubin NVL72 的 A5X 云实例下月商用
谷歌云与英伟达宣布，基于英伟达 Vera Rubin NVL72 系统的 A5X 云实例计划于下月正式开放，并进一步拓展至欧洲市场。A5X 整合 Vera Rubin NVL72、ConnectX-9 SuperNIC、谷歌云 Virgo 网络及第四代先进液冷技术，面向 AI 智能体推理和大规模强化学习工作负载。
推荐理由：原文给出 A5X 实例的核心硬件组合、开放时间与目标负载，读者可据此评估云端推理基础设施的新选择。
财联社 · 电报AI 评分4646 英伟达推出DGX Spark 64GB版本 两台集群可支持最高2000亿参数模型
英伟达推出DGX Spark 64GB版本，10月23日起由宏碁、华硕、戴尔、技嘉、惠普和微星等厂商发售，起售价4999美元。该设备搭载Grace Blackwell超级芯片，可本地运行最高1000亿参数模型；两台设备通过NVIDIA Sync Cluster Assistant连接后共享128GB内存，支持最高2000亿参数模型。
财联社 · 电报AI 评分4242 英伟达扩展企业级 AI Agent 工具包，推动自主智能体落地
英伟达通过 Agent Toolkit 为企业构建自主 AI 智能体提供开放式工具链，涵盖 Nemotron 开放模型、NemoClaw 蓝图、OpenShell 安全运行环境及 CUDA-X 库等组件。该工具包支持企业定制模型、调用专业工具与技能，并对智能体运行实施安全和隐私策略控制，旨在帮助企业构建可长期运行的 AI 智能体，应用于工程设计、软件开发及业务运营等场景。
财联社 · 电报AI 评分5151 英伟达升级 Isaac 机器人平台，推出人形机器人参考框架与仿真工具
英伟达宣布升级 Isaac 通用机器人开发平台，推出新的人形机器人参考框架、仿真工作流及数据工具。更新覆盖机器人训练、仿真验证和部署流程，帮助开发者利用合成数据和仿真环境训练机器人，并在实际部署前验证机器人行为。
财联社 · 电报AI 评分5555 英伟达称DSX平台可将AI工厂冷却用水量降至近零 同等算力输出最多节电30%
英伟达宣布欧洲多家云服务商及基础设施企业正采用其 DSX AI 工厂平台，以降低数据中心冷却用水和电力消耗并加快算力设施部署。平台通过闭环液冷与干式冷却器排热将冷却用水量降至近零，在 2 吉瓦规模下每天可节水 5400 万升，相当于 18 万户家庭的日用水量；DSX MaxLPS 软件可在生成相同数量 AI 词元的情况下最多减少 30% 用电量。
财联社 · 电报精选AI 评分6060 英伟达推出DSX POD参考架构，携手戴尔、联想等推进模块化AI工厂建设
英伟达宣布推出DSX POD参考架构，戴尔科技、HPE、联想、施耐德电气、维谛技术等企业参与生态建设。该方案采用模块化集装箱设计，计算及配套基础设施在工厂内集成和验证，交付后接入现场电力、冷却和网络。英伟达称合作伙伴计划于2027年初在全球交付模块化AI工厂。
推荐理由：英伟达联合多家厂商推出模块化AI工厂参考架构，读者可借此了解数据中心集成化交付的新路径和2027年交付计划。
财联社 · 电报AI 评分5151 英伟达DSX Flex测试中将Blackwell Ultra GPU集群功耗最多降低40%
英伟达宣布，与Emerald AI、EPRI、Nebius、英国国家电网合作的早期试验中，在模拟电网事件下将Blackwell Ultra GPU集群功耗最多降低40%，同时保持关键工作负载运行。DSX Flex旨在协调AI工厂用电与电网需求。
财联社 · 电报AI 评分3838 Nscale 测试英伟达 DSX 方案，推理吞吐量提高 49%
英伟达披露，Nscale 在冰岛 AI 工厂使用 DSX MaxLPS，对 4 个英伟达 GB300 NVL72 机架进行评估，在 264 千瓦固定供电预算下，推理吞吐量提高 49%，可管理 GPU 容量增加 37%。上述结果来自特定测试环境，不代表所有部署场景的实际表现。
财联社 · 电报AI 评分5555 英伟达推出 OpenShell 参考架构 为企业级 AI Agent 提供全栈安全保障
英伟达推出 OpenShell 参考架构，将 Vera Rubin 基础设施、Vera CPU、开源 OpenShell 软件及搭载 NVIDIA Sentry 安全框架的 BlueField-4 DPU 整合，为企业级 AI Agent 提供安全隔离、行为监控及策略执行能力。
36氪 · 快讯AI 评分5252 英伟达在柏林GTC推出DSX POD模块化AI工厂设计，部署最快14天
英伟达10月21日在柏林GTC大会推出DSX POD参考设计，将基于Vera Rubin系统的AI工厂集成至模块化集装箱，交付前完成系统集成与验证，部署时间从6个月缩短至最快14天，与戴尔、慧与、联想、施耐德电气、维谛技术合作，计划2027年初全球交付。黄仁勋还称未来电信运营商都将提供AI算力，并估算1吉瓦数据中心建设成本约500亿美元。
第一财经 · 正在AI 评分6060 英伟达发布Vera Rubin DSX POD模块化AI工厂参考架构
英伟达CEO黄仁勋在GTC柏林演讲中发布DSX POD AI工厂参考设计，产品在模块化集装箱内建造，交付前已完成集成与验证，将于2027年初在全球交付。黄仁勋称，相比传统数据中心部署，DSX POD从开始部署到产生token的时间可从6个月缩至最少14天，他称之为供应链的一次转型。
36氪 · AIAI 评分7575 DeepSeek 一周连发自研搜索、推理框架与编解码组件，并公开单卡收入细节
DeepSeek 在一周内接连推出自研搜索 Search 与 Fetch、开源推理框架 DeepInfer 和格式转换组件 deepseek-recipe，除搜索服务在11月1日起收费外均免费开源。
机器之心AI 评分3636 从种草到世界杯，小红书的技术实力藏不住了
小红书首次以官方持权转播商身份转播 2026 美加墨世界杯，在观播量超日常直播 50 倍、互动量超 100 倍的压力下完成技术大考。直播消费码率提升约 50%、端到端延迟降低约 30%，直播客户端团队三周内完成数十个需求并扛住千万级峰值并发。回放侧通过单机多 GPU 并行、逻辑分片等优化，将 4K 增强转码提速约 57 倍，并在画质持平前提下将 4K 增强档码率再降 13.3%。
36氪 · AIAI 评分5555 中科类脑常峰：国产算力下半场从堆卡转向效率之争，超节点是主战场
中科类脑合伙人常峰在2026世界算力网大会上分享国产算力建设与软硬件优化实践，判断行业竞争正从比卡多转向比效率，主战场是超节点。
arXiv cs.AIAI 评分3939 内存受限 LLM 推理服务中的服务性拥塞研究
一项针对内存受限 LLM 推理服务的研究建立了离散时间动力学模型，分析连续批处理下的请求准入、key-value cache 内存增长与驱逐机制。研究表明同质负载下无驱逐均衡不稳定，系统收敛到最坏极限环，吞吐量损失可高达 50%；而异质负载中互质的解码长度可稳定无驱逐均衡。论文据此推导了维持高吞吐的调度设计原则，v3 新增 GPU 基准实验附录。
arXiv cs.AIAI 评分5858 NVIDIA Spectrum-X 论文阐述面向大规模 AI 训练的硬件加速多平面网络架构
NVIDIA 团队发表 arXiv 论文（arXiv:2605.21187），介绍 Spectrum-X Ethernet 的多平面架构，用拓扑并行取代层级深度，并在 NIC 和交换机中引入硬件加速负载均衡，以微秒级响应动态网络状况。
arXiv cs.AIAI 评分3333 OPTIMA：基于二次规划重构的大语言模型最优单次剪枝方法
arXiv 论文提出 OPTIMA，一种实用的单次训练后剪枝方法，将掩码选择后的逐层权重重构转化为共享 Hessian 的逐列二次规划（QP），可批量在加速器上并行求解。
arXiv cs.AI精选AI 评分6565 TorchTPU 论文介绍 Google 与 Meta 合作为 TPU 打造原生 PyTorch 后端
Google 与 Meta 的开源合作项目 TorchTPU 发布论文，提出在 Google TPU 上原生执行 PyTorch 的混合 eager/编译架构。该项目支持开箱即用的模型执行与 TPU 迁移，并通过 eager 执行优化、编译集成和原生硬件加速提供有竞争力的推理与训练性能。论文共 23 页，链接 https://arxiv.org/abs/2610.24161。
推荐理由：Google 与 Meta 合作的开源项目，论文说明了 TPU 上原生执行 PyTorch 的混合架构，关注框架与硬件适配的读者可作参考。
arXiv cs.AIAI 评分4141 BitMTP：当多 Token 预测遇上低比特大语言模型
BitMTP 是一个面向超低比特大语言模型骨干的多 Token 预测（MTP）算法-系统协同设计框架，通过联合 next-token 与 MTP 目标、多种解码模式及 Accepted-prefix 对齐实现高效加速。
arXiv cs.AIAI 评分5858 Racer 论文提出用符号等价检查 hunting GPU kernel 缺陷，在 2,408 个生产内核中发现 82 个真实 bug
论文提出 Racer，一个 PTX 级符号等价检查引擎，通过在符号输入上执行 kernel 与参考实现，把输出变成精确代数表达式来区分浮点误差与逻辑 bug。它采用 Shape Reduction、lockstep CTA 调度和带精确数值反驳的 idiom 模板三项技术。
arXiv cs.AIAI 评分4949 论文解读：MoE 动态专家跳过方法的受控对比——别跳过静态基线
一项 arXiv 研究将四种动态专家跳过方法统一分类，并与静态减少每层专家数 k 的简单基线在 Gemma4-26B-A4B、Qwen3-30B-A3B 及多模态模型 Qwen3-VL 上按同等专家计算预算对比。
arXiv cs.AIAI 评分4242 数据系统视角下的 LLM 长上下文本地推理分析
一篇 arXiv 论文从数据系统视角分析长上下文 LLM 在单机 GPU 上本地推理的瓶颈。研究发现 self-attention 主导长上下文推理的运行时间，且其现有结构使关键 GPU 资源利用不足，最新一代 GPU 反而常常表现最差。作者将 KV cache 分页、缓存利用率和 GPU 同步等问题归结为数据管理问题，并以实验观察和建议的形式供数据系统社区参考。
arXiv cs.AIAI 评分3434 CALM：用离线校准改进自回归视频生成的 KV cache 在线压缩
论文提出 CALM（Calibrated Allocation for Layer-Head Merging），针对自回归视频生成中的 token merging 压缩。
arXiv cs.AIAI 评分3636 AnchorRM：基于锚点的残差记忆机制，加速时序图神经网络训练
研究者提出 AnchorRM，一种面向记忆型时序图神经网络（TGN）的锚点残差记忆机制，无需顺序循环更新即可重建批内事件级节点状态，解决时间小批处理带来的内存陈旧问题。在 4 个时序图数据集和 3 个记忆型骨干上，AnchorRM 实现平均 6.16 倍训练加速（最高 10.05 倍）和 28.67 倍批扩展（最高 40 倍），同时保持有竞争力的预测性能。
arXiv cs.AIAI 评分4343 MLIPS：多层索引器池共享，让稀疏注意力免去逐层全前缀扫描
arXiv 论文提出 MLIPS，一种无需训练的多层索引器池共享方法：由生产者层发布大于注意力预算 K 的 top-M 候选池，后续各层自行从中选 top-K，保留各自的打分与选择。
arXiv cs.AIAI 评分4141 OptEP：面向 MoE 大语言模型的重构优化专家剪枝方法
研究者提出 OptEP，一种基于连续松弛的后训练专家剪枝方法，通过可微专家选择变量和基于重构的权重更新，为 MoE 大语言模型保留最优专家子集。