Les auteurs présentent CARD, un modèle de légendification audio sans encodeur qui élimine le coût d'inférence des encodeurs audio figés en utilisant un projecteur de 13.2M pour alimenter un LLM figé avec des adaptateurs LoRA fusionnés.

  • CARD distille un enseignant CLAP-HTSAT pré-entraîné dans le système plutôt que de s'appuyer sur l'encodeur lors de l'inférence.
  • La méthode dirige les étapes perceptives vers le projecteur et les étapes sémantiques vers le LLM.
  • Cette approche améliore le CIDEr-D de +12.18 par rapport à un modèle distillé uniquement LLM sur AudioCaps.
  • Il atteint un score de 55.4 sur Clotho, comparé à une borne supérieure de 66.4 avec un encodeur conservé.

Le travail démontre que la placement stratégique des connaissances de l'enseignant à travers les composants est aussi important que sa présence pour la performance.