跳到正文
今天10月22日周四4 条
10月21日周三
  1. 财联社 · 电报65

    英伟达与矽品扩大共同封装光学合作 光引擎产能目标提升15倍

    财联社报道,英伟达与矽品精密(SPIL)计划扩大光引擎制造产能,以支持共同封装光学(CPO)技术及大规模计算基础设施的连接需求。双方目标在2027年年中将相关产能提升至目前的15倍,并计划到2028年底再翻一倍。

    推荐理由:快讯给出双方明确的产能扩张节奏和目标时点,可用于判断 CPO 供应链的扩张力度。

  2. 财联社 · 电报60

    谷歌云与英伟达宣布基于 Vera Rubin NVL72 的 A5X 云实例下月商用

    谷歌云与英伟达宣布,基于英伟达 Vera Rubin NVL72 系统的 A5X 云实例计划于下月正式开放,并进一步拓展至欧洲市场。A5X 整合 Vera Rubin NVL72、ConnectX-9 SuperNIC、谷歌云 Virgo 网络及第四代先进液冷技术,面向 AI 智能体推理和大规模强化学习工作负载。

    推荐理由:原文给出 A5X 实例的核心硬件组合、开放时间与目标负载,读者可据此评估云端推理基础设施的新选择。

  3. 财联社 · 电报46

    英伟达推出DGX Spark 64GB版本 两台集群可支持最高2000亿参数模型

    英伟达推出DGX Spark 64GB版本,10月23日起由宏碁、华硕、戴尔、技嘉、惠普和微星等厂商发售,起售价4999美元。该设备搭载Grace Blackwell超级芯片,可本地运行最高1000亿参数模型;两台设备通过NVIDIA Sync Cluster Assistant连接后共享128GB内存,支持最高2000亿参数模型。

  4. 财联社 · 电报42

    英伟达扩展企业级 AI Agent 工具包,推动自主智能体落地

    英伟达通过 Agent Toolkit 为企业构建自主 AI 智能体提供开放式工具链,涵盖 Nemotron 开放模型、NemoClaw 蓝图、OpenShell 安全运行环境及 CUDA-X 库等组件。该工具包支持企业定制模型、调用专业工具与技能,并对智能体运行实施安全和隐私策略控制,旨在帮助企业构建可长期运行的 AI 智能体,应用于工程设计、软件开发及业务运营等场景。

  5. 财联社 · 电报55

    英伟达称DSX平台可将AI工厂冷却用水量降至近零 同等算力输出最多节电30%

    英伟达宣布欧洲多家云服务商及基础设施企业正采用其 DSX AI 工厂平台,以降低数据中心冷却用水和电力消耗并加快算力设施部署。平台通过闭环液冷与干式冷却器排热将冷却用水量降至近零,在 2 吉瓦规模下每天可节水 5400 万升,相当于 18 万户家庭的日用水量;DSX MaxLPS 软件可在生成相同数量 AI 词元的情况下最多减少 30% 用电量。

  6. 财联社 · 电报60

    英伟达推出DSX POD参考架构,携手戴尔、联想等推进模块化AI工厂建设

    英伟达宣布推出DSX POD参考架构,戴尔科技、HPE、联想、施耐德电气、维谛技术等企业参与生态建设。该方案采用模块化集装箱设计,计算及配套基础设施在工厂内集成和验证,交付后接入现场电力、冷却和网络。英伟达称合作伙伴计划于2027年初在全球交付模块化AI工厂。

    推荐理由:英伟达联合多家厂商推出模块化AI工厂参考架构,读者可借此了解数据中心集成化交付的新路径和2027年交付计划。

  7. arXiv cs.AI39

    内存受限 LLM 推理服务中的服务性拥塞研究

    一项针对内存受限 LLM 推理服务的研究建立了离散时间动力学模型,分析连续批处理下的请求准入、key-value cache 内存增长与驱逐机制。研究表明同质负载下无驱逐均衡不稳定,系统收敛到最坏极限环,吞吐量损失可高达 50%;而异质负载中互质的解码长度可稳定无驱逐均衡。论文据此推导了维持高吞吐的调度设计原则,v3 新增 GPU 基准实验附录。

  8. arXiv cs.AI65

    TorchTPU 论文介绍 Google 与 Meta 合作为 TPU 打造原生 PyTorch 后端

    Google 与 Meta 的开源合作项目 TorchTPU 发布论文,提出在 Google TPU 上原生执行 PyTorch 的混合 eager/编译架构。该项目支持开箱即用的模型执行与 TPU 迁移,并通过 eager 执行优化、编译集成和原生硬件加速提供有竞争力的推理与训练性能。论文共 23 页,链接 https://arxiv.org/abs/2610.24161。

    推荐理由:Google 与 Meta 合作的开源项目,论文说明了 TPU 上原生执行 PyTorch 的混合架构,关注框架与硬件适配的读者可作参考。

  9. arXiv cs.AI42

    数据系统视角下的 LLM 长上下文本地推理分析

    一篇 arXiv 论文从数据系统视角分析长上下文 LLM 在单机 GPU 上本地推理的瓶颈。研究发现 self-attention 主导长上下文推理的运行时间,且其现有结构使关键 GPU 资源利用不足,最新一代 GPU 反而常常表现最差。作者将 KV cache 分页、缓存利用率和 GPU 同步等问题归结为数据管理问题,并以实验观察和建议的形式供数据系统社区参考。

  10. arXiv cs.AI36

    AnchorRM:基于锚点的残差记忆机制,加速时序图神经网络训练

    研究者提出 AnchorRM,一种面向记忆型时序图神经网络(TGN)的锚点残差记忆机制,无需顺序循环更新即可重建批内事件级节点状态,解决时间小批处理带来的内存陈旧问题。在 4 个时序图数据集和 3 个记忆型骨干上,AnchorRM 实现平均 6.16 倍训练加速(最高 10.05 倍)和 28.67 倍批扩展(最高 40 倍),同时保持有竞争力的预测性能。

  11. arXiv cs.AI37

    CoASFL:面向异步分割联邦学习的耦合一致性优化框架

    研究者提出 CoASFL,一种面向异步分割联邦学习的不一致性感知框架,通过动态激活合并机制和一致性感知聚合机制,同时缓解客户端间横向不一致与客户端-服务器间纵向不一致。在 80 台设备的异构边缘测试床上,CoASFL 较最先进 SFL 方法训练加速 1.61 倍至 3.74 倍,最终模型准确率最高提升 3.26%。

  12. arXiv cs.AI40

    3D-MoE:面向 3D 堆叠 NMP 上 MoE 解码的软硬协同设计系统

    研究者提出 3D-MoE,一种在 3D 堆叠 DRAM 近存处理(NMP)上运行 MoE 解码的软硬协同设计系统,利用专家互补性进行离线分组与位置感知映射,并通过协作记忆网络(CMN)和在线重映射缓解热点。相比专家并行(EP),MoE 层平均加速 4.63×,端到端吞吐量较最强 NMP 基线提升 1.58×–1.86×,仅增加 2.11% 逻辑裸片面积。

  13. arXiv cs.AI37

    在托管模型上实现隐私保护推理:针对冻结 Qwen3.8-27B 的学习型输入嵌入变换

    一项 arXiv 研究提出在客户端本地将提示词转换为向量,经 55.6M 参数的训练网络变换后交由托管方运行冻结的 Qwen3.8-27B 模型,主机全程不接触文本或 token id。在留出的 1,490 道 MMLU 问题上,该方法准确率仅下降 1.5 个百分点(80.7% vs. 82.3%),同时 30.1% 的内容 token 在最近邻查找下不再还原为原始 token。