Model embedding audio-bahasa gagal mengodekan konsep suara yang dinegasi

Sebuah studi mengungkapkan bahwa model embedding audio-bahasa seperti CLAP kesulitan dengan negasi, memetakan caption afirmatif dan dinegasi ke representasi yang hampir identik. Untuk mengekspos keterbatasan ini, para penulis memperkenalkan NegEval-Audio, sebuah kerangka kerja yang mengubah dataset menjadi tugas Retrieval-Neg dan Multiple-Choice Negation.

• Performa pada AudioCaps dan Clotho menurun tajam di bawah negasi, dengan akurasi MCQ jatuh di bawah tingkat kebetulan.
• Kegagalan ini tetap ada bahkan untuk model embedding berbasis LLM multimodal terbaru.
• Metode steering tanpa pelatihan meningkatkan MCQ-Neg tetapi memberikan peningkatan marginal untuk Retrieval-Neg.

Hasil-hasil tersebut menunjukkan bahwa bias afirmasi adalah cacat fundamental dalam geometri representasi, yang memerlukan tujuan pelatihan yang secara eksplisit sadar akan negasi.