PACE:面向 4-bit 循环状态的周期性与通道对齐编码方法
论文提出 PACE,一种事后式 4-bit 状态量化器,用于压缩线性注意力语言模型的循环状态,仅每隔几个生成 token 舍入一次并缓存中间 token,同时按列共享量化 scale、将误差最大的头保留为 8-bit。
论文提出 PACE,一种事后式 4-bit 状态量化器,用于压缩线性注意力语言模型的循环状态,仅每隔几个生成 token 舍入一次并缓存中间 token,同时按列共享量化 scale、将误差最大的头保留为 8-bit。
一项针对内存受限 LLM 推理服务的研究建立了离散时间动力学模型,分析连续批处理下的请求准入、key-value cache 内存增长与驱逐机制。研究表明同质负载下无驱逐均衡不稳定,系统收敛到最坏极限环,吞吐量损失可高达 50%;而异质负载中互质的解码长度可稳定无驱逐均衡。论文据此推导了维持高吞吐的调度设计原则,v3 新增 GPU 基准实验附录。
NVIDIA 团队发表 arXiv 论文(arXiv:2605.21187),介绍 Spectrum-X Ethernet 的多平面架构,用拓扑并行取代层级深度,并在 NIC 和交换机中引入硬件加速负载均衡,以微秒级响应动态网络状况。
arXiv 论文提出 OPTIMA,一种实用的单次训练后剪枝方法,将掩码选择后的逐层权重重构转化为共享 Hessian 的逐列二次规划(QP),可批量在加速器上并行求解。
Google 与 Meta 的开源合作项目 TorchTPU 发布论文,提出在 Google TPU 上原生执行 PyTorch 的混合 eager/编译架构。该项目支持开箱即用的模型执行与 TPU 迁移,并通过 eager 执行优化、编译集成和原生硬件加速提供有竞争力的推理与训练性能。论文共 23 页,链接 https://arxiv.org/abs/2610.24161。
推荐理由:Google 与 Meta 合作的开源项目,论文说明了 TPU 上原生执行 PyTorch 的混合架构,关注框架与硬件适配的读者可作参考。
BitMTP 是一个面向超低比特大语言模型骨干的多 Token 预测(MTP)算法-系统协同设计框架,通过联合 next-token 与 MTP 目标、多种解码模式及 Accepted-prefix 对齐实现高效加速。
论文提出 Racer,一个 PTX 级符号等价检查引擎,通过在符号输入上执行 kernel 与参考实现,把输出变成精确代数表达式来区分浮点误差与逻辑 bug。它采用 Shape Reduction、lockstep CTA 调度和带精确数值反驳的 idiom 模板三项技术。
一项 arXiv 研究将四种动态专家跳过方法统一分类,并与静态减少每层专家数 k 的简单基线在 Gemma4-26B-A4B、Qwen3-30B-A3B 及多模态模型 Qwen3-VL 上按同等专家计算预算对比。
一篇 arXiv 论文从数据系统视角分析长上下文 LLM 在单机 GPU 上本地推理的瓶颈。研究发现 self-attention 主导长上下文推理的运行时间,且其现有结构使关键 GPU 资源利用不足,最新一代 GPU 反而常常表现最差。作者将 KV cache 分页、缓存利用率和 GPU 同步等问题归结为数据管理问题,并以实验观察和建议的形式供数据系统社区参考。
论文提出 CALM(Calibrated Allocation for Layer-Head Merging),针对自回归视频生成中的 token merging 压缩。
研究者提出 AnchorRM,一种面向记忆型时序图神经网络(TGN)的锚点残差记忆机制,无需顺序循环更新即可重建批内事件级节点状态,解决时间小批处理带来的内存陈旧问题。在 4 个时序图数据集和 3 个记忆型骨干上,AnchorRM 实现平均 6.16 倍训练加速(最高 10.05 倍)和 28.67 倍批扩展(最高 40 倍),同时保持有竞争力的预测性能。
arXiv 论文提出 MLIPS,一种无需训练的多层索引器池共享方法:由生产者层发布大于注意力预算 K 的 top-M 候选池,后续各层自行从中选 top-K,保留各自的打分与选择。
研究者提出 OptEP,一种基于连续松弛的后训练专家剪枝方法,通过可微专家选择变量和基于重构的权重更新,为 MoE 大语言模型保留最优专家子集。
研究者提出 CoASFL,一种面向异步分割联邦学习的不一致性感知框架,通过动态激活合并机制和一致性感知聚合机制,同时缓解客户端间横向不一致与客户端-服务器间纵向不一致。在 80 台设备的异构边缘测试床上,CoASFL 较最先进 SFL 方法训练加速 1.61 倍至 3.74 倍,最终模型准确率最高提升 3.26%。
研究者提出 3D-MoE,一种在 3D 堆叠 DRAM 近存处理(NMP)上运行 MoE 解码的软硬协同设计系统,利用专家互补性进行离线分组与位置感知映射,并通过协作记忆网络(CMN)和在线重映射缓解热点。相比专家并行(EP),MoE 层平均加速 4.63×,端到端吞吐量较最强 NMP 基线提升 1.58×–1.86×,仅增加 2.11% 逻辑裸片面积。
arXiv 论文提出 GRaSP,一种无需重训练的重排序层,通过按延迟衰减相关性得分并可选加入成本惩罚来优化地理分布式 RAG 检索。
arXiv 论文提出自适应多 token 预测(AMTP),把多 token 预测的视野选择形式化为在线控制问题,用验证反馈在每次生成前预测草稿接受概率并选出期望吞吐量最高的视野,无需重训练、不改动验证器。
一篇 arXiv 论文提出 Semantic Observability 框架,将分布式微服务的异构日志统一为可查询的属性图数据库,并通过由有向循环图(DCG)编排的多智能体系统定位故障根因。
arXiv 论文提出 RACE,一种后训练 KV cache 头维压缩方法,通过按 query-key 联合激活能量选择完整旋转对,与预训练 RoPE 变换兼容,无需推理时重建或专用 kernel。
ACE-Compression 是一个以能力为中心的大语言模型压缩评估框架,从程序性推理与约束执行、知识接地与真实性、社会认知与情感理解、人设保真与风格一致性四个维度考察压缩后模型哪些核心能力得以保留。
一项 arXiv 研究提出在客户端本地将提示词转换为向量,经 55.6M 参数的训练网络变换后交由托管方运行冻结的 Qwen3.8-27B 模型,主机全程不接触文本或 token id。在留出的 1,490 道 MMLU 问题上,该方法准确率仅下降 1.5 个百分点(80.7% vs. 82.3%),同时 30.1% 的内容 token 在最近邻查找下不再还原为原始 token。
一篇 arXiv 论文提出一种 agentic 工作流,让 LLM 编码智能体在商用基带 SoC 上实现算法、优化到智能体自写的向量汇编并在硅片上验证。该工作流以实测平台事实知识库为指导,每步由不可编辑的评估器校验。
E8-QAT 是一种 2-bit 量化感知训练框架,用 E8 格作为隐式八维码本,通过算术投影联合量化权重组,无需在训练前向中存储或搜索显式码本。在 Qwen3.6-35B-A3B 上其四项任务平均分追平全精度模型,同等条件下在 IFEval 和 LiveCodeBench 上分别比 SOTA 基线提升 2.03% 和 1.51%。
一项 arXiv 研究分析 4-bit 权重量化下 PTQ 校准对文本嵌入器的影响,覆盖 e5-base-v2、BGE-M3、EmbeddingGemma-300m 三款模型共 161 次校准运行。
一篇 arXiv 论文提出 Lafa(Large flow language model),一种扩展到 8B 参数的连续流语言模型,采用块内因果注意力前缀与双向异步流设计,可基于预训练自回归模型高效训练,仅用不到 30B tokens 训练了 0.5B、7B 和 8B 三个规模。
论文提出 RiseHarness,一个在模型权重固定的情况下迭代改进终端 agent harness 的框架。它以同配置下成功与失败的运行为切入点,结合轨迹与运行时监控的 harness 内部追踪,生成 Harness Handbook 定位跨任务的共性问题,并从其他 harness 框架检索相关实现作为设计参考,经行为检查与重复任务评估后保留有实测增益的版本进入下一轮迭代。
推理系统 Specter 将量化与推测解码、专家卸载结合,用量化轻量草稿模型预测未来专家激活,让运行时提前调度专家的搬运与执行,缓解 PCIe I/O 瓶颈。单请求推理下,Specter 的 TPOT 相比 SOTA 系统平均提速 1.50x,最高达 1.88x。该系统让内存受限的单 GPU MoE 推理在消费级硬件上更实用,代码已开源。
一项新研究提出 cache engineering 方案,让 LLM 智能体在不修改轨迹、不重新 prefill 的前提下直接控制活跃 KV cache,可通过 drop 排除选中缓存、用 repos 调整保留键的位置编码,并配套设计了 AKV serving 引擎。
Google Research 发布三项研究,构建面向自主湿实验室的智能体基础模块。VERID 框架基于 PyLabRobot 提供实验室工作单元的语义数字孪生,支持实时 3D 状态追踪、虚拟试运行、硬件安全检查和视频与动作日志同步。
推荐理由:原文给出 Google 让智能体在湿实验室自主做实验的三个研究项目与具体指标,读者可以了解真实实验反馈如何补足计算设计。
METR 研究显示 AI 加速在不同领域差异明显:2026 年网络安全漏洞报告速度较 2025 年大幅加快,数学研究小幅提速(部分领域 arXiv 投稿不到 12 个月翻倍),AI 研究本身则无可测加速。