研究者发布多语言文档理解基准MDU并评测45个模型
热点事件持续更新
研究者发布多语言文档理解基准MDU并评测45个模型
1 篇报道1 个报道来源53 分钟前更新
先了解这件事
AI 综述
Matteo Gabburo等研究者发布多语言文档理解基准MDU，包含23146个样本、13个任务，覆盖英法德意西五种语言。团队在同一协议下评测45个1.7B至235B参数的开源视觉语言模型和一个商业系统，最佳平均分仅69.0。评测发现：两个最好成绩来自27B模型而非最大模型，语言间差距不随模型变大而缩小，各任务能力提升不同步，转写能力与语义抽取之间存在取舍。
AI 根据报道生成 · 15 分钟前更新
最新进展11月14日 13:00
MDU 基准评测视觉语言模型的多语言文档理解能力报道时间线
沿着报道，了解事件的不同侧面。
11月14日
- arXiv cs.AIMDU 基准评测视觉语言模型的多语言文档理解能力
研究者发布 MDU 多语言文档理解基准，包含 23146 个样本、13 个任务和英法德意西五种语言。团队用同一协议评测 45 个 1.7B 至 235B 参数的开源 VLM 和一个商业系统，最佳平均分仅 69.0，两个最好结果来自 27B 模型而非最大模型。语言差距不随模型变大而缩小，各任务能力提升不同步，转写能力与语义抽取之间存在取舍。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。