arXiv cs.AI· Noam Rotstein, Yoad Tewel, Chen Tessler, Haggai Maron, Gal Chechik, Or Litany, Yoni Kasten, Yuval Atzmon·· 1 天前AI 评分45
Joints, Camera, Action!：面向任意骨骼的 3D 运动与视频协同生成模型
Joints, Camera, Action! Co-Generating 3D Motion and Video for Arbitrary Rigs
AI 导读
arXiv 一篇论文提出一个模型，可为任意骨骼同时生成视频和 3D 运动，并通过相机将运动对齐到 3D 场景。该模型将支持任意骨架的运动模型与预训练视频模型通过少量 cross-attention 层连接，并用生成式视频编辑器与人形、机器人视频构建了近 200K 训练对。评测显示其文本驱动骨骼动画比视频优先管线更忠实，还能实现视频转骨骼运动、骨骼运动转视频及关键帧控制。
来源：arXiv cs.AI · arxiv.org