著者らは、CARDを導入した。これは、凍結されたLLMにマージされたLoRAアダプタを供給する13.2Mのパジェクタを使用して、凍結音声エンコーダの推論コストを排除するエンコーダフリーの音声キャプションモデルである。

  • CARDは、推論時にエンコーダに依存するのではなく、システム内に事前学習済みCLAP-HTSAT教師を蒸留する。
  • この手法は、知覚ステージをパジェクタへ、意味ステージをLLMへとルーティングする。
  • このアプローチにより、AudioCapsにおけるLLMのみで蒸留されたモデルと比較してCIDEr-Dが+12.18向上した。
  • 音声エンコーダを保持した場合の上限スコア66.4に対して、Clothoでは55.4のスコアを達成した。

この研究は、教師の知識を構成要素に戦略的に配置することが、その存在自体と同様にパフォーマンスにとって重要であることを示している。