ALLOT:按输出分配块稀疏注意力的免训练视频 Diffusion Transformer 加速方法
研究提出 ALLOT,一种免训练的块稀疏注意力分配方法,用于降低视频 Diffusion Transformer 全 3D attention 的计算成本。它将每个 layer-step 对视为单元,通过 cell probing 和 trajectory calibration 估计其对最终视频误差的贡献,并在实测延迟预算下联合优化单元密度。
研究提出 ALLOT,一种免训练的块稀疏注意力分配方法,用于降低视频 Diffusion Transformer 全 3D attention 的计算成本。它将每个 layer-step 对视为单元,通过 cell probing 和 trajectory calibration 估计其对最终视频误差的贡献,并在实测延迟预算下联合优化单元密度。
一项 arXiv 研究(arXiv:2610.29989)提出 Future Chunk Prediction(FCP),作为与 teacher-forced 去噪联合优化的辅助目标,让自回归视频扩散模型预测时间上分离、且无法访问中间视觉上下文的视频块。
一篇被 CVPR 2026 接收的 arXiv 论文提出无需额外训练的生成式补间(GI)方法:通过 Keyframe-anchored Attention Bias 提供语义与时间引导,并用 Rescaled Temporal RoPE 增强帧一致性。作者还发布了首个文本条件 GI 评测基准 TGI-Bench。该方法在短长序列上均取得帧一致性、语义保真度和节奏稳定性的 SOTA 表现。
arXiv 论文提出一套智能体(Agentic)工具方法,用于自动化视频编辑,覆盖场景预览、视频摘要和电影预告片三类任务,这些任务在编辑目标、复杂度与创意性上各不相同。作者对输出结果进行了评估,并讨论其对自动化与智能体自主性的影响。
arXiv 一篇论文提出一个模型,可为任意骨骼同时生成视频和 3D 运动,并通过相机将运动对齐到 3D 场景。该模型将支持任意骨架的运动模型与预训练视频模型通过少量 cross-attention 层连接,并用生成式视频编辑器与人形、机器人视频构建了近 200K 训练对。评测显示其文本驱动骨骼动画比视频优先管线更忠实,还能实现视频转骨骼运动、骨骼运动转视频及关键帧控制。
研究者推出通用代码式视频生成基准 Code2Video-Compass,覆盖文本到视频(T2V)、图像到视频(I2V)和视频到视频(V2V)三类设定。基准包含 2,104 个任务,横跨 10 个类别、24 个子类型和三个复杂度维度,并采用 12 项客观指标与 5 项主观指标的双层评测框架。
论文提出 CALM(Calibrated Allocation for Layer-Head Merging),针对自回归视频生成中的 token merging 压缩。
论文提出 MoDDiT,对 Diffusion Transformer(DiT)做简单架构改动,让 token 学习通过 MLP 和自注意力块路由,实现跨 token、图像和去噪时间步的动态算力分配。
ReCam 将历史潜变量的局部时空块分组并投影到 Diffusion Transformer 的高维隐空间中形成记忆 token,通过原生自注意力在压缩 token 数的同时保留对全部历史的块级访问;另引入双指针去噪,对近期上下文与目标帧采用分离噪声调度以抑制自回归漂移。
研究者推出 DIVE 基准,用于评估多模态大语言模型在连续多模态流中的全双工交互与视觉参与能力,包含主动介入、持续参与和交互协调三大场景共六项任务,覆盖 525 个带精细人工标注的音视频样本。实验显示,主流实时模型平均响应延迟已低于 1 秒,但平均窗口响应率最高仅 53.77%,且根据新到达信息调整进行中回复仍然困难。
SolarRenderer 是一种结构条件视频渲染器,通过两个轻量 LoRA 适配冻结的 MiniMax-H3 33B 骨干,将游戏引擎等粗略结构转为逼真视频。
论文提出 Matrix-Game 4.0,通过可执行游戏框架将游戏执行与视觉生成分离,由轻量游戏引擎维护世界状态、多模态编码 Agent 将玩家想法转成游戏代码、基于自回归视频模型的渲染器把低多边形代理画面转化为高保真视觉。
推荐理由:论文提出游戏执行与视觉生成分离的框架,并给出单卡 480p 60 FPS、112ms 延迟等实测指标,可帮助评估视频模型驱动可玩游戏世界的可行性。
研究者推出 StreamEval,一个面向交互式流式视频生成的统一基准,涵盖 avatar 对话、avatar 表演、世界生成、指令编辑和参考编辑五类任务。基准包含 300 个时长 15-300 秒的脚本化测试用例,从任务执行、状态一致性、视觉保真度和视听协调四个维度、十项指标按 0-100 分评估。