arXiv cs.AI· Chuangxin Zhao, Meimei Zhang, Canran Xiao, Jiachen Luo, Jiajun He, Kaijie Chen, Huy Phan, Tomoki Toda, Bi\"orn W. Schuller·· 2 小时前AI 评分35
MERP：面向鲁棒多模态多标签情感识别的潜在瓶颈框架
MERP: A Latent-Bottleneck Framework for Robust Multi-Modal Multi-Label Emotion Recognition
AI 导读
研究者提出多模态情感识别框架 MERP，将联合序列映射为固定大小潜在库以应对部署时模态缺失问题。在 20% 测试时随机模态丢弃下，MERP 在 CMU-MOSEI 与 M3ED 上分别取得 0.563 与 0.780 的 micro-F1；在 CMU-MOSEI 纯音频严苛设定下保留 0.473，远高于 LDDU 的 0.022。训练无需缺失模态样本，代码已开源。
来源：arXiv cs.AI · arxiv.org