Light-MER: 서브-10억 파라미터 모델이 멀티모달 감정 인식에서 SOTA에 도달

연구자들은 고품질 멀티모달 감정 인식(MER)에 대규모 모델이 필요하다는 가정에 의문을 제기하며, 대규모 교사 모델에서 서브-10억 파라미터 학생 모델로 지식을 증류하는 경량 프레임워크 Light-MER를 제안했습니다.

이 방법은 두 가지 최적화 전략을 도입합니다: 숨겨진 상태 정렬과 슬라이스드 와서슈타인 거리를 결합한 최적 운송 손실, 그리고 성능과 효율성의 균형을 맞추기 위한 GRPO 기반의 다중 보상 전략입니다. 9개의 벤치마크 데이터셋에 대한 광범위한 실험을 통해 Light-MER가 최첨단 성능을 달성하면서도 자원 제약이 있는 플랫폼에서 추론 효율성을 크게 향상시킨다는 것이 입증되었습니다.

이 연구는 작은 멀티모달 감정 언어 모델이 미래 연구에서 강력한 잠재력을 가지고 있음을 강조하며, 대규모 모델의 높은 계산 비용 없이 해석 가능한 설명 생성을 가능하게 합니다.