研究首次系统考察多模态模型文本主导并提出MDI指标

论文作者首次系统考察了多模态大语言模型（MLLM）中的文本主导问题，覆盖图像、视频、音频、时间序列和图等多种模态，并提出 Modality Dominance Index（MDI）与 Attention Efficiency Index（AEI）两个评估指标，同时提出一种 token 压缩方法。 该方法的应用效果以 LLaVA-7B 为例：其 MDI 从 10.23 降至 0.86，论文称达到较均衡的水平。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。