FacEDiT提出基于面部动作填充的说话头视频编辑方法

Kim Sung-Bin 等在 arXiv 发布论文，提出 FacEDiT 方法：将说话人头视频的局部编辑建模为面部运动填充任务，通过掩码运动片段并从语音和周边运动上下文重建，仅用普通视频-语音对即可自监督训练，无需额外标注。 模型采用局部时间注意力偏置和时间平滑正则来改善唇音对齐与过渡连续性；同一模型只需改变掩码模式即可扩展至人像动画和唇同步任务。作者还提出了首个说话人头视频编辑基准 FacEDiTBench。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。