Dharma-AI 详解 VocabX 词表特化方法如何将推理成本降低 77%
Dharma-AI 在博客中介绍其即将发布论文的 VocabX 方法,按每个 token 的成本而非频率为领域模型重建词表。其基于 Qwen3-4B 的葡萄牙语作文评分系统中,模型响应从平均 350 token 降至 101 token,在 RTX 5090 与 vLLM 上实测推理成本下降 77.0%,bench 分数从 0.703 升至 0.810。
Dharma-AI 在博客中介绍其即将发布论文的 VocabX 方法,按每个 token 的成本而非频率为领域模型重建词表。其基于 Qwen3-4B 的葡萄牙语作文评分系统中,模型响应从平均 350 token 降至 101 token,在 RTX 5090 与 vLLM 上实测推理成本下降 77.0%,bench 分数从 0.703 升至 0.810。
IBM 在 Hugging Face 发布 Granite Speech 5.0 更新,包括新模型 granite-speech-5.0-2b 及两个修订版 granite-speech-5.0-470m-turboctc 和 granite-speech-4.1-2b-plus。
英伟达推出面向 AI 智能体的开源软件 OpenShell 参考架构。该架构以开源形式提供,供构建 AI 智能体使用。
论文提出 WeAct(Weight-level Internal Actions),在冻结主干上训练各能力独立的 LoRA adapter,并把 adapter 选择加入智能体的动作空间,通过原生 tool-calling 接口按需组合能力。
团队发布开源 30B 因果语言模型 Muse Glimmer,内置感知编码器,面向消费级硬件上的自主智能体任务,无需云端基础设施即可本地运行。
推荐理由:原文介绍了面向消费级硬件的开源智能体模型,给出基准对比与许可证选择,可帮助读者评估本地部署可行性。
Google 与 Meta 的开源合作项目 TorchTPU 发布论文,提出在 Google TPU 上原生执行 PyTorch 的混合 eager/编译架构。该项目支持开箱即用的模型执行与 TPU 迁移,并通过 eager 执行优化、编译集成和原生硬件加速提供有竞争力的推理与训练性能。论文共 23 页,链接 https://arxiv.org/abs/2610.24161。
推荐理由:Google 与 Meta 合作的开源项目,论文说明了 TPU 上原生执行 PyTorch 的混合架构,关注框架与硬件适配的读者可作参考。
arXiv 论文提出 CEDR(Continuous Embedding Diffusion Reasoner),一种面向数学推理与代码生成的连续潜空间扩散训练与推理管线,从 Qwen3-4B 的三个隐藏层学习紧凑答案表示。
研究者提出 PAVE(Purifying TAsk Vectors)方法,在知识感知子空间中对任务向量进行净化,以缓解模型合并中因任务无关冗余导致的性能下降。该方法采样各任务的训练样本获取协方差矩阵,执行面向上下文的奇异值分解,将微调权重拆分为任务相关与冗余成分并剪枝冗余部分,同时引入谱秩分配策略平衡各模型的剪枝力度。
arXiv 论文提出自适应多 token 预测(AMTP),把多 token 预测的视野选择形式化为在线控制问题,用验证反馈在每次生成前预测草稿接受概率并选出期望吞吐量最高的视野,无需重训练、不改动验证器。
论文提出 Routed Specialist On-Policy Distillation(RSOD)端到端框架,用结构化网络分类体系生成 212,559 条覆盖十四条网络路由的训练记录,在共享续训骨干上训练六个冻结的专家 LoRA 教师并蒸馏为单一可部署的学生适配器,发布为 Llama-CalixCLM v1。
研究者提出 Agent S4,一种能从任务经验中自主构建进化界面的计算机操作智能体,通过元智能体修订界面仓库并进行种群级进化筛选。
论文提出 Matrix-Game 4.0,通过可执行游戏框架将游戏执行与视觉生成分离,由轻量游戏引擎维护世界状态、多模态编码 Agent 将玩家想法转成游戏代码、基于自回归视频模型的渲染器把低多边形代理画面转化为高保真视觉。
推荐理由:论文提出游戏执行与视觉生成分离的框架,并给出单卡 480p 60 FPS、112ms 延迟等实测指标,可帮助评估视频模型驱动可玩游戏世界的可行性。
DeepSeek 开源了用于运行自家模型的内部推理框架 DeepInfer。此举揭示了该中国 AI 开发商在大规模运行模型时实现高效率和低算力成本的部分技术细节,外界有望借助 DeepInfer 获益。
推荐理由:DeepSeek 开源自用推理框架 DeepInfer,读者可以借此了解其大规模推理降本的内部做法。
Taiheng Pan 的 arXiv 论文追踪七个开源 RL 后训练框架的提交历史,并关联 2025 年 1 月至 2026 年 6 月筛选的 6,939 篇 arXiv 论文。
场景文本编辑(STE)研究提出 TextRIRO,不依赖合成配对数据,而是通过对真实图像进行 Crop、Shuffle、Mask 等破坏操作构建自配对监督,基于条件扩散架构训练。
Reflection 在 Hugging Face 发布其首个开源模型 Beam(Beam-1.0-501B-A23B),为 501B 参数、每 token 激活 23B 的 MoE 模型,采用 Apache 2.0 协议,支持 1M token 上下文,主打编码与智能体场景。
推荐理由:官方博客给出 Beam 的架构细节、基准成绩和部署微调配方,读者可以据此评估在自有硬件上跑前沿开源模型的成本与路径。
Project Apertus 发布 Apertus 1.5,在 8B 和 70B 基础上以继续预训练方式加入图像和音频理解、可选思考模式,上下文窗口扩展至 262,144 tokens,模型权重于 2026 年 7 月 24 日以 Apache 2.0 许可上传 Hugging Face。
推荐理由:官方发布说明完整公开了训练流程、数据与中间检查点,读者可据此了解开源多模态模型的全链路做法。
Mistral 发布 Mistral Large 4 公测预览,模型为 1 万亿总参数、52B 激活参数的原生多模态模型,在本月底开放权重,预览 API 已可在 Mistral Studio 试用。
推荐理由:官方公布参数规模、权重开放时间与多领域基准成绩,可据此了解开源模型当前能力水平与欧洲自建算力路线。
Mistral 宣布与 Mozilla 达成合作,Firefox 的 AI 浏览助手 Smart Window(beta)改由 Mistral 模型驱动,率先面向法国和北美用户,英国和德国预计年内跟进。Smart Window 可帮助理解复杂搜索、找回关闭过的网页内容并基于浏览器标签整理信息。对话默认不保存在 Mozilla 服务器,Mistral 承诺零数据保留,双方强调开源与本地化语言微调。