Los modelos de incrustación audio-idioma fallan al codificar conceptos sonoros negados

Un estudio revela que los modelos de incrustación audio-idioma como CLAP tienen dificultades con la negación, mapeando subtítulos afirmativos y negados a representaciones casi idénticas. Para exponer esta limitación, los autores presentan NegEval-Audio, un marco que convierte conjuntos de datos en tareas Retrieval-Neg y Multiple-Choice Negation.

• El rendimiento en AudioCaps y Clotho se degrada drásticamente bajo negación, con la precisión MCQ cayendo por debajo del azar.
• El fallo persiste incluso para modelos de incrustación recientes basados en LLM multimodales.
• Un método de dirección sin entrenamiento mejora MCQ-Neg pero ofrece ganancias marginales para Retrieval-Neg.

Los resultados indican que el sesgo de afirmación es un defecto fundamental en la geometría de representación, lo que requiere objetivos de entrenamiento explícitos conscientes de la negación.