Modelos de embedding áudio-idioma falham ao codificar conceitos sonoros negados

Um estudo revela que modelos de embedding áudio-idioma como o CLAP têm dificuldade com a negação, mapeando legendas afirmativas e negadas para representações quase idênticas. Para expor essa limitação, os autores introduzem o NegEval-Audio, um framework que converte datasets em tarefas Retrieval-Neg e Multiple-Choice Negation.

• O desempenho no AudioCaps e Clotho degrada-se acentuadamente sob negação, com a precisão MCQ caindo abaixo do acaso.
• A falha persiste mesmo para modelos de embedding recentes baseados em LLM multimodal.
• Um método de direcionamento sem treinamento melhora o MCQ-Neg, mas oferece ganhos marginais para Retrieval-Neg.

Os resultados indicam que o viés de afirmação é uma falha fundamental na geometria de representação, exigindo objetivos de treinamento explícitos conscientes da negação.