Модели аудио-языковых эмбеддингов не способны кодировать отрицательные звуковые концепции

Исследование показывает, что модели аудио-языковых эмбеддингов, такие как CLAP, испытывают трудности с отрицанием, отображая утвердительные и отрицательные подписи в почти идентичные представления. Чтобы выявить это ограничение, авторы представляют NegEval-Audio, фреймворк для преобразования датасетов в задачи Retrieval-Neg и Multiple-Choice Negation.

• Производительность на AudioCaps и Clotho резко падает при отрицании, причем точность MCQ опускается ниже уровня случайного угадывания.
• Ошибка сохраняется даже для недавних мультимодальных LLM-based embedding моделей.
• Метод управления без дообучения улучшает MCQ-Neg, но дает незначительные улучшения для Retrieval-Neg.

Результаты указывают на то, что предвзятость утверждения является фундаментальным недостатком геометрии представлений, требующим явных целей обучения с учетом отрицания.