Les modèles d'embedding audio-langue échouent à encoder les concepts sonores négés

Une étude révèle que les modèles d'embedding audio-langue comme CLAP ont du mal avec la négation, mappant les légendes affirmatives et négées vers des représentations quasi identiques. Pour exposer cette limitation, les auteurs introduisent NegEval-Audio, un cadre convertissant des ensembles de données en tâches Retrieval-Neg et Multiple-Choice Negation.

• Les performances sur AudioCaps et Clotho se dégradent fortement sous la négation, avec une précision MCQ tombant en dessous du hasard.
• L'échec persiste même pour les récents modèles d'embedding multimodaux basés sur des LLM.
• Une méthode de pilotage sans entraînement améliore le MCQ-Neg mais offre des gains marginaux pour Retrieval-Neg.

Les résultats indiquent que le biais d'affirmation est un défaut fondamental dans la géométrie de représentation, nécessitant des objectifs d'entraînement explicites conscients de la négation.