研究人员挑战了高质量跨模态情感识别(MER)需要大模型的假设,提出了Light-MER,这是一个轻量级框架,通过蒸馏将大型教师模型的知识转移到十亿参数以下的学生模型。
该方法引入了两种优化策略:结合Sliced Wasserstein Distance与隐藏状态对齐的最优传输损失,以及基于GRPO的多奖励策略,以平衡性能和效率。在九个基准数据集上的广泛实验表明,Light-MER在显著提升资源受限平台推理效率的同时达到了最先进(SOTA)性能。
这项工作凸显了小型跨模态情感语言模型在未来研究中的巨大潜力,能够在无需大型模型高昂计算成本的情况下实现可解释的描述生成。