ある研究により、CLAPなどの音声言語埋め込みモデルが否定に苦戦し、肯定と否定のキャプションをほぼ同一の表現にマッピングすることが明らかになった。この限界を明らかにするため、著者はNegEval-Audioを導入した。これはデータセットをRetrieval-NegおよびMultiple-Choice Negationタスクに変換するフレームワークである。

  • 否定下でのAudioCapsとClothoのパフォーマンスは急激に低下し、MCQの正答率は確率未満に落ち込む。
  • この失敗は、最近のマルチモーダルLLMベースの埋め込みモデルでも持続する。
  • トレーニング不要のステアリング手法はMCQ-Negを改善するが、Retrieval-Negに対してはわずかな利益しか生み出さない。

これらの結果は、肯定バイアスが表現幾何学における根本的な欠陥であることを示しており、明示的な否定 aware な学習目標が必要であることを示唆している。