跳到正文
今天10月22日周四2 条
  1. Hugging Face Daily Papers40

    ALLOT:按输出分配块稀疏注意力的免训练视频 Diffusion Transformer 加速方法

    研究提出 ALLOT,一种免训练的块稀疏注意力分配方法,用于降低视频 Diffusion Transformer 全 3D attention 的计算成本。它将每个 layer-step 对视为单元,通过 cell probing 和 trajectory calibration 估计其对最终视频误差的贡献,并在实测延迟预算下联合优化单元密度。

10月21日周三
  1. arXiv cs.AI40

    锚定与重缩放注意力实现语义一致的生成式视频补间研究

    一篇被 CVPR 2026 接收的 arXiv 论文提出无需额外训练的生成式补间(GI)方法:通过 Keyframe-anchored Attention Bias 提供语义与时间引导,并用 Rescaled Temporal RoPE 增强帧一致性。作者还发布了首个文本条件 GI 评测基准 TGI-Bench。该方法在短长序列上均取得帧一致性、语义保真度和节奏稳定性的 SOTA 表现。

  2. arXiv cs.AI45

    Joints, Camera, Action!:面向任意骨骼的 3D 运动与视频协同生成模型

    arXiv 一篇论文提出一个模型,可为任意骨骼同时生成视频和 3D 运动,并通过相机将运动对齐到 3D 场景。该模型将支持任意骨架的运动模型与预训练视频模型通过少量 cross-attention 层连接,并用生成式视频编辑器与人形、机器人视频构建了近 200K 训练对。评测显示其文本驱动骨骼动画比视频优先管线更忠实,还能实现视频转骨骼运动、骨骼运动转视频及关键帧控制。

  3. arXiv cs.AI40

    ReCam 提出全上下文记忆实现稳定长视频生成

    ReCam 将历史潜变量的局部时空块分组并投影到 Diffusion Transformer 的高维隐空间中形成记忆 token,通过原生自注意力在压缩 token 数的同时保留对全部历史的块级访问;另引入双指针去噪,对近期上下文与目标帧采用分离噪声调度以抑制自回归漂移。

  4. arXiv cs.AI44

    DIVE 基准:评估连续流中带视觉参与的全双工交互

    研究者推出 DIVE 基准,用于评估多模态大语言模型在连续多模态流中的全双工交互与视觉参与能力,包含主动介入、持续参与和交互协调三大场景共六项任务,覆盖 525 个带精细人工标注的音视频样本。实验显示,主流实时模型平均响应延迟已低于 1 秒,但平均窗口响应率最高仅 53.77%,且根据新到达信息调整进行中回复仍然困难。

  5. Hugging Face Daily Papers61

    Matrix-Game 4.0:用视频模型驱动实时可玩游戏世界

    论文提出 Matrix-Game 4.0,通过可执行游戏框架将游戏执行与视觉生成分离,由轻量游戏引擎维护世界状态、多模态编码 Agent 将玩家想法转成游戏代码、基于自回归视频模型的渲染器把低多边形代理画面转化为高保真视觉。

    推荐理由:论文提出游戏执行与视觉生成分离的框架,并给出单卡 480p 60 FPS、112ms 延迟等实测指标,可帮助评估视频模型驱动可玩游戏世界的可行性。

10月20日周二
  1. Hugging Face Daily Papers42

    StreamEval:交互式流式视频生成模型评测基准

    研究者推出 StreamEval,一个面向交互式流式视频生成的统一基准,涵盖 avatar 对话、avatar 表演、世界生成、指令编辑和参考编辑五类任务。基准包含 300 个时长 15-300 秒的脚本化测试用例,从任务执行、状态一致性、视觉保真度和视听协调四个维度、十项指标按 0-100 分评估。