PTQ 校准何时有益或有害:量化文本嵌入器中的剂量驱动崩溃与验证门控弃用分析
一项 arXiv 研究分析 4-bit 权重量化下 PTQ 校准对文本嵌入器的影响,覆盖 e5-base-v2、BGE-M3、EmbeddingGemma-300m 三款模型共 161 次校准运行。
一项 arXiv 研究分析 4-bit 权重量化下 PTQ 校准对文本嵌入器的影响,覆盖 e5-base-v2、BGE-M3、EmbeddingGemma-300m 三款模型共 161 次校准运行。
一篇 arXiv 论文提出 Lafa(Large flow language model),一种扩展到 8B 参数的连续流语言模型,采用块内因果注意力前缀与双向异步流设计,可基于预训练自回归模型高效训练,仅用不到 30B tokens 训练了 0.5B、7B 和 8B 三个规模。
论文提出 RiseHarness,一个在模型权重固定的情况下迭代改进终端 agent harness 的框架。它以同配置下成功与失败的运行为切入点,结合轨迹与运行时监控的 harness 内部追踪,生成 Harness Handbook 定位跨任务的共性问题,并从其他 harness 框架检索相关实现作为设计参考,经行为检查与重复任务评估后保留有实测增益的版本进入下一轮迭代。
推理系统 Specter 将量化与推测解码、专家卸载结合,用量化轻量草稿模型预测未来专家激活,让运行时提前调度专家的搬运与执行,缓解 PCIe I/O 瓶颈。单请求推理下,Specter 的 TPOT 相比 SOTA 系统平均提速 1.50x,最高达 1.88x。该系统让内存受限的单 GPU MoE 推理在消费级硬件上更实用,代码已开源。
DeepSeek 开源了用于运行自家模型的内部推理框架 DeepInfer。此举揭示了该中国 AI 开发商在大规模运行模型时实现高效率和低算力成本的部分技术细节,外界有望借助 DeepInfer 获益。
推荐理由:DeepSeek 开源自用推理框架 DeepInfer,读者可以借此了解其大规模推理降本的内部做法。
Hugging Face 介绍 TorchTPU 这一 PyTorch 原生 TPU 后端,Transformers、Diffusers 和 Kernels 无需 torch_xla 即可原生运行在 TPU 上,模型只需 device_map="tpu" 即可加载。
推荐理由:原文介绍了 TorchTPU 原生后端与安装方式,并给出 batch 64 下 21.5× 的解码加速等实测数据,读者可据此评估迁移成本。
Hugging Face PyTorch 团队介绍 PyTorch 2.15 的 MPS 后端更新:MPS 支持 torch.float8_e4m3fn 的 FP8 张量和 F.scaled_mm。
推荐理由:原文给出 PyTorch 2.15 MPS 后端的具体性能数字与内存变化,Mac 上跑模型和训练的读者可据此评估升级收益。
一项新研究提出 cache engineering 方案,让 LLM 智能体在不修改轨迹、不重新 prefill 的前提下直接控制活跃 KV cache,可通过 drop 排除选中缓存、用 repos 调整保留键的位置编码,并配套设计了 AKV serving 引擎。
IEEE Spectrum 与 Wiley 联合推出、由 Intel 赞助的白皮书,讲解边缘 AI 与物理 AI 如何帮助城市超越被动监控,实现能感知、推理并行动的基础设施。
Hugging Face 宣布 TorchNeuron 为 AWS Trainium 提供原生 PyTorch 后端,自 2026 年 10 月 20 日起开放公测,可通过 pip install torch-neuronx 安装。
推荐理由:官方宣布 Trainium 获得 PyTorch 原生后端,HF 库可直接使用,还给出覆盖率变化和训练示例。
Google Research 发布三项研究,构建面向自主湿实验室的智能体基础模块。VERID 框架基于 PyLabRobot 提供实验室工作单元的语义数字孪生,支持实时 3D 状态追踪、虚拟试运行、硬件安全检查和视频与动作日志同步。
推荐理由:原文给出 Google 让智能体在湿实验室自主做实验的三个研究项目与具体指标,读者可以了解真实实验反馈如何补足计算设计。
Google Research 宣布下一代联邦学习系统,利用可信执行环境(TEE)提供可远程证明、可审计的数据匿名化保障,访问策略发布到公开透明日志 Rekor,KMS 与数据处理二进制可从开源代码复现构建。Gboard 已部署该系统,上线英语和日语下一词预测模型,隐私保障更强、精度更高;服务器端并行化把过去每次 1-2 个月的训练显著提速,客户端梯度计算转移到服务器也为训练更大模型铺路。