VideoLVR论文提出基于潜在视觉证据的视频推理方法

Shilong Li 等研究者在 arXiv 发布论文，提出视频多模态大模型的潜在视觉推理方法 VideoLVR。该方法从视频中相关时刻的局部区域构建潜在视觉证据，为中间推理步骤提供视觉支持，以缓解纯语言推理链导致的视觉遗忘问题。 技术上，VideoLVR 将视觉证据重建与文本生成统一在同一 token 预测框架内，使模型能在文本 token 与潜在视觉状态间交替推理，并扩展到强化学习，把采样的视觉 token 作为动作联合优化。作者称该方法在不显著扩展多模态上下文的情况下提升视频理解，在需要细粒度视觉证据的任务上尤其有效；论文报告了在多个视频基准上的实验结果。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。