Hugging Face Daily Papers· Seohyun Lee, Jongha Kim, Dohwan Ko, Ji Soo Lee, Seoung Choi, Jayun Ku, Hyunwoo J. Kim·· 3 天前AI 评分32
MMEnterprise-Bench:评估企业智能体处理演化多模态记录的能力
MMEnterprise-Bench: Evaluating Enterprise Agents over Evolving Multimodal Records
AI 导读
研究者推出 MMEnterprise-Bench 基准,包含 1,613 道基于模拟协作项目中演化多模态记录的问题,覆盖证据推理、冲突消解与不可回答三类任务。对 10 个专有和开源多模态 LLM 的评测显示,即使最强模型在证据存在跨来源或时间冲突、或跨越多张图像时仍表现不佳。增大检索预算或使用更大检索器能提升证据召回,但不必然带来更高的答案准确率。
来源:Hugging Face Daily Papers · arxiv.org