RubatoCodec:带精确事件预算与流式解码的自适应语音 Tokenization
研究者提出 RubatoCodec,一种基于 X-Codec-2 的变速率语音 codec,通过精确的话语级事件预算与流式解码,用 Adaptive Firing 机制按 codec 特征和波形频谱变化切分语音为变长事件。
研究者提出 RubatoCodec,一种基于 X-Codec-2 的变速率语音 codec,通过精确的话语级事件预算与流式解码,用 Adaptive Firing 机制按 codec 特征和波形频谱变化切分语音为变长事件。
研究者提出 AW-0,一个将代码化规划与视频、动作联合预测结合的 Agentic 世界动作模型框架。该框架在统一的 mixture-of-transformers 架构中将代码、未来视频和机器人动作建模为三条耦合生成流,并通过自动化管线把机器人与人类视频轨迹标注为程序、沉淀为可复用技能库。
一项研究提出 Harness Scaling,把智能体强化学习的训练从单一固定 harness 扩展到多样化执行配置,通过因子化 harness 空间和均衡因子覆盖选取紧凑训练子集。
研究者提出预训练视觉状态编码器 ALPS,将物理状态信息、语言对齐和像素重建统一在同一组 patch token 中。仅用静态图像与文本从零预训练 ViT-B/16,并通过跨视角自蒸馏精调。
研究提出 ALLOT,一种免训练的块稀疏注意力分配方法,用于降低视频 Diffusion Transformer 全 3D attention 的计算成本。它将每个 layer-step 对视为单元,通过 cell probing 和 trajectory calibration 估计其对最终视频误差的贡献,并在实测延迟预算下联合优化单元密度。
一项 arXiv 研究(arXiv:2610.29989)提出 Future Chunk Prediction(FCP),作为与 teacher-forced 去噪联合优化的辅助目标,让自回归视频扩散模型预测时间上分离、且无法访问中间视觉上下文的视频块。
哈工大等机构研究者在 arXiv 论文(arXiv:2610.29357)中提出以记忆为中心的持续学习框架 MCCL,主张以记忆能否改善未来行为而非仅检索来评判记忆系统。MCCL 包含按载体、资产、策略三轴组织记忆的分类法与内外双环生命周期,并提出衡量干扰下保持、变化适应与任务迁移的评估协议,以及建模性能随经验、存储和算力扩展的记忆扩展框架,为自我改进的自主智能体提供路径。
研究者提出 HRoPE(Homography Relative Positional Encoding),一种面向多视图 transformer 的表面感知位置编码。
研究者提出多智能体世界模型 OverSeer,在各智能体第一人称视角外引入固定空间的辅助摄像头视角,作为以世界为中心的表征以维持时间与智能体间的一致性。辅助视角冗余且半静态,可通过 delta-VAE 仅编码相对静态参考图的变化来压缩,降低 token 数量与计算开销。在 Minecraft 和 Doom 上的实验显示世界与智能体一致性提升,真实世界多摄像头拍摄结果也验证了该方法不限于游戏引擎。
EvaOmni 是一个证据锚定的音视频推理评测基准,包含 392 个视频和 1,027 条纯人工标注的问答对,覆盖 15 项能力和检索定位、基础理解、复杂推理三个层级。
这篇立场论文提出,通用视觉语言模型(VLM)可通过 System One 决策直接充当多模态重排序器,无需专门训练:用一道选择题对第一阶段检索的 top 16 候选打分,从一次前向传播中读取各候选标签概率完成排序。
一篇 arXiv 论文提出 Lafa(Large flow language model),一种扩展到 8B 参数的连续流语言模型,采用块内因果注意力前缀与双向异步流设计,可基于预训练自回归模型高效训练,仅用不到 30B tokens 训练了 0.5B、7B 和 8B 三个规模。
论文提出 RiseHarness,一个在模型权重固定的情况下迭代改进终端 agent harness 的框架。它以同配置下成功与失败的运行为切入点,结合轨迹与运行时监控的 harness 内部追踪,生成 Harness Handbook 定位跨任务的共性问题,并从其他 harness 框架检索相关实现作为设计参考,经行为检查与重复任务评估后保留有实测增益的版本进入下一轮迭代。
DecisionPivot 是一个诊断基准,包含 48 个任务、40,033 个条目、七种决策角色,用于评估 LLM 系统中负责路由、护栏与输出验证的决策模型。
研究者提出 Agent S4,一种能从任务经验中自主构建进化界面的计算机操作智能体,通过元智能体修订界面仓库并进行种群级进化筛选。
推理系统 Specter 将量化与推测解码、专家卸载结合,用量化轻量草稿模型预测未来专家激活,让运行时提前调度专家的搬运与执行,缓解 PCIe I/O 瓶颈。单请求推理下,Specter 的 TPOT 相比 SOTA 系统平均提速 1.50x,最高达 1.88x。该系统让内存受限的单 GPU MoE 推理在消费级硬件上更实用,代码已开源。
研究者推出 MMEnterprise-Bench 基准,包含 1,613 道基于模拟协作项目中演化多模态记录的问题,覆盖证据推理、冲突消解与不可回答三类任务。对 10 个专有和开源多模态 LLM 的评测显示,即使最强模型在证据存在跨来源或时间冲突、或跨越多张图像时仍表现不佳。增大检索预算或使用更大检索器能提升证据召回,但不必然带来更高的答案准确率。
SolarRenderer 是一种结构条件视频渲染器,通过两个轻量 LoRA 适配冻结的 MiniMax-H3 33B 骨干,将游戏引擎等粗略结构转为逼真视频。
论文提出 Matrix-Game 4.0,通过可执行游戏框架将游戏执行与视觉生成分离,由轻量游戏引擎维护世界状态、多模态编码 Agent 将玩家想法转成游戏代码、基于自回归视频模型的渲染器把低多边形代理画面转化为高保真视觉。
推荐理由:论文提出游戏执行与视觉生成分离的框架,并给出单卡 480p 60 FPS、112ms 延迟等实测指标,可帮助评估视频模型驱动可玩游戏世界的可行性。
Byungwoo Jeon 等人发布论文,提出 Video-Point Model(VPM),基于多视角视频历史和语言指令,联合预测任意视角的未来视频与场景持久点的 3D 轨迹。