跳到正文
今天10月22日周四1 条
10月21日周三
  1. arXiv cs.AI39

    内存受限 LLM 推理服务中的服务性拥塞研究

    一项针对内存受限 LLM 推理服务的研究建立了离散时间动力学模型,分析连续批处理下的请求准入、key-value cache 内存增长与驱逐机制。研究表明同质负载下无驱逐均衡不稳定,系统收敛到最坏极限环,吞吐量损失可高达 50%;而异质负载中互质的解码长度可稳定无驱逐均衡。论文据此推导了维持高吞吐的调度设计原则,v3 新增 GPU 基准实验附录。

  2. arXiv cs.AI65

    TorchTPU 论文介绍 Google 与 Meta 合作为 TPU 打造原生 PyTorch 后端

    Google 与 Meta 的开源合作项目 TorchTPU 发布论文,提出在 Google TPU 上原生执行 PyTorch 的混合 eager/编译架构。该项目支持开箱即用的模型执行与 TPU 迁移,并通过 eager 执行优化、编译集成和原生硬件加速提供有竞争力的推理与训练性能。论文共 23 页,链接 https://arxiv.org/abs/2610.24161。

    推荐理由:Google 与 Meta 合作的开源项目,论文说明了 TPU 上原生执行 PyTorch 的混合架构,关注框架与硬件适配的读者可作参考。

  3. arXiv cs.AI42

    数据系统视角下的 LLM 长上下文本地推理分析

    一篇 arXiv 论文从数据系统视角分析长上下文 LLM 在单机 GPU 上本地推理的瓶颈。研究发现 self-attention 主导长上下文推理的运行时间,且其现有结构使关键 GPU 资源利用不足,最新一代 GPU 反而常常表现最差。作者将 KV cache 分页、缓存利用率和 GPU 同步等问题归结为数据管理问题,并以实验观察和建议的形式供数据系统社区参考。

  4. arXiv cs.AI36

    AnchorRM:基于锚点的残差记忆机制,加速时序图神经网络训练

    研究者提出 AnchorRM,一种面向记忆型时序图神经网络(TGN)的锚点残差记忆机制,无需顺序循环更新即可重建批内事件级节点状态,解决时间小批处理带来的内存陈旧问题。在 4 个时序图数据集和 3 个记忆型骨干上,AnchorRM 实现平均 6.16 倍训练加速(最高 10.05 倍)和 28.67 倍批扩展(最高 40 倍),同时保持有竞争力的预测性能。

  5. arXiv cs.AI37

    CoASFL:面向异步分割联邦学习的耦合一致性优化框架

    研究者提出 CoASFL,一种面向异步分割联邦学习的不一致性感知框架,通过动态激活合并机制和一致性感知聚合机制,同时缓解客户端间横向不一致与客户端-服务器间纵向不一致。在 80 台设备的异构边缘测试床上,CoASFL 较最先进 SFL 方法训练加速 1.61 倍至 3.74 倍,最终模型准确率最高提升 3.26%。

  6. arXiv cs.AI40

    3D-MoE:面向 3D 堆叠 NMP 上 MoE 解码的软硬协同设计系统

    研究者提出 3D-MoE,一种在 3D 堆叠 DRAM 近存处理(NMP)上运行 MoE 解码的软硬协同设计系统,利用专家互补性进行离线分组与位置感知映射,并通过协作记忆网络(CMN)和在线重映射缓解热点。相比专家并行(EP),MoE 层平均加速 4.63×,端到端吞吐量较最强 NMP 基线提升 1.58×–1.86×,仅增加 2.11% 逻辑裸片面积。

  7. arXiv cs.AI37

    在托管模型上实现隐私保护推理:针对冻结 Qwen3.8-27B 的学习型输入嵌入变换

    一项 arXiv 研究提出在客户端本地将提示词转换为向量,经 55.6M 参数的训练网络变换后交由托管方运行冻结的 Qwen3.8-27B 模型,主机全程不接触文本或 token id。在留出的 1,490 道 MMLU 问题上,该方法准确率仅下降 1.5 个百分点(80.7% vs. 82.3%),同时 30.1% 的内容 token 在最近邻查找下不再还原为原始 token。

  8. Hugging Face Daily Papers44

    RiseHarness 框架:自进化方法提升长时程终端 Agent 可靠性

    论文提出 RiseHarness,一个在模型权重固定的情况下迭代改进终端 agent harness 的框架。它以同配置下成功与失败的运行为切入点,结合轨迹与运行时监控的 harness 内部追踪,生成 Harness Handbook 定位跨任务的共性问题,并从其他 harness 框架检索相关实现作为设计参考,经行为检查与重复任务评估后保留有实测增益的版本进入下一轮迭代。

  9. Hugging Face Daily Papers41

    Specter:通过量化驱动的多步推测卸载加速 MoE 推理

    推理系统 Specter 将量化与推测解码、专家卸载结合,用量化轻量草稿模型预测未来专家激活,让运行时提前调度专家的搬运与执行,缓解 PCIe I/O 瓶颈。单请求推理下,Specter 的 TPOT 相比 SOTA 系统平均提速 1.50x,最高达 1.88x。该系统让内存受限的单 GPU MoE 推理在消费级硬件上更实用,代码已开源。

10月20日周二
10月17日周六
  1. Google Research64

    Google Research 发布 VERID 框架与闭环湿实验室智能体研究成果

    Google Research 发布三项研究,构建面向自主湿实验室的智能体基础模块。VERID 框架基于 PyLabRobot 提供实验室工作单元的语义数字孪生,支持实时 3D 状态追踪、虚拟试运行、硬件安全检查和视频与动作日志同步。

    推荐理由:原文给出 Google 让智能体在湿实验室自主做实验的三个研究项目与具体指标,读者可以了解真实实验反馈如何补足计算设计。

8月24日周一