Les chercheurs remettent en question l'hypothèse selon laquelle des modèles larges sont nécessaires pour une reconnaissance d'émotions multimodales (MER) de haute qualité, en proposant Light-MER, un cadre léger qui transfère les connaissances d'un grand modèle enseignant à un étudiant de moins d'un milliard de paramètres via la distillation.
La méthode introduit deux stratégies d'optimisation : une perte de transport optimal combinant la distance de Wasserstein tranchée avec l'alignement des états cachés, et une stratégie multi-récompense basée sur GRPO pour équilibrer performance et efficacité. Des expériences extensives sur neuf ensembles de données de référence montrent que Light-MER atteint des performances à l'état de l'art tout en améliorant significativement l'efficacité de l'inférence pour les plateformes aux ressources limitées.
Ce travail met en évidence le fort potentiel des petits modèles linguistiques multimodaux d'émotions pour la recherche future, permettant une génération de descriptions interprétables sans les coûts computationnels élevés des modèles plus grands.