音频-语言嵌入模型无法编码否定声音概念

一项研究表明，CLAP 等音频-语言嵌入模型在处理否定时存在困难，将肯定和否定的字幕映射到几乎相同的表示中。为了揭示这一局限性，作者引入了 NegEval-Audio，这是一个将数据集转换为 Retrieval-Neg 和 Multiple-Choice Negation 任务的框架。

• 在 AudioCaps 和 Clotho 上，性能在否定情况下急剧下降，MCQ 准确率降至低于随机水平。
• 即使对于最近的基于多模态 LLM 的嵌入模型，这种失败依然存在。
• 一种无需训练的引导方法改善了 MCQ-Neg，但为 Retrieval-Neg 带来的提升微乎其微。

结果表明，肯定偏见是表示几何中的一个根本缺陷，需要明确的否定感知训练目标。