CLAP과 같은 오디오-언어 임베딩 모델이 부정을 처리하는 데 어려움을 겪으며, 긍정적 및 부정적 캡션을 거의 동일한 표현으로 매핑한다는 연구 결과가 나왔습니다. 이 한계를 드러내기 위해 저자들은 NegEval-Audio를 도입했는데, 이는 데이터셋을 Retrieval-Neg 및 Multiple-Choice Negation 작업으로 변환하는 프레임워크입니다.

  • AudioCaps와 Clotho에서의 성능은 부정 하에서 급격히 저하되며, MCQ 정확도는 추측 수준 이하로 떨어집니다.
  • 이 실패는 최근의 멀티모달 LLM 기반 임베딩 모델에서도 지속됩니다.
  • 학습 없는 스티어링 방법은 MCQ-Neg를 개선하지만 Retrieval-Neg에 대해서는 미미한 향상만 제공합니다.

이 결과는 긍정 편향이 표현 기하학에서 근본적인 결함임을 나타내며, 명시적인 부정 인식 학습 목표가 필요함을 시사합니다.