Os autores apresentam o CARD, um modelo de legendagem de áudio sem codificador que elimina o custo de inferência de codificadores de áudio congelados ao usar um projetor de 13.2M parâmetros para alimentar uma LLM congelada com adaptadores LoRA fundidos.

  • O CARD destila um professor CLAP-HTSAT pré-treinado no sistema em vez de depender do codificador durante a inferência.
  • O método roteia estágios perceptivos para o projetor e estágios semânticos para a LLM.
  • Esta abordagem melhora o CIDEr-D em +12.18 sobre um modelo destilado apenas com LLM no AudioCaps.
  • Ele alcança uma pontuação de 55.4 no Clotho, comparado a um limite superior de 66.4 com um codificador mantido.

O trabalho demonstra que posicionar estrategicamente o conhecimento do professor nos componentes é tão importante quanto sua presença para o desempenho.