跳到正文
arXiv cs.AI· Yuhang Chen, Guangyue Liu, Shilong Liu·· 1 天前AI 评分44

DIVE 基准:评估连续流中带视觉参与的全双工交互

DIVE: Benchmarking Full-Duplex Interaction with Visual Engagement in Continuous Streams

AI 导读

研究者推出 DIVE 基准,用于评估多模态大语言模型在连续多模态流中的全双工交互与视觉参与能力,包含主动介入、持续参与和交互协调三大场景共六项任务,覆盖 525 个带精细人工标注的音视频样本。实验显示,主流实时模型平均响应延迟已低于 1 秒,但平均窗口响应率最高仅 53.77%,且根据新到达信息调整进行中回复仍然困难。

来源:arXiv cs.AI · arxiv.org