Los autores presentan CARD, un modelo de captioning de audio sin codificador que elimina el costo de inferencia de los codificadores de audio congelados utilizando un proyector de 13.2M parámetros para alimentar una LLM congelada con adaptadores LoRA fusionados.

  • CARD destila un maestro CLAP-HTSAT preentrenado en el sistema en lugar de depender del codificador durante la inferencia.
  • El método enruta las etapas perceptivas al proyector y las etapas semánticas a la LLM.
  • Este enfoque mejora CIDEr-D en +12.18 sobre un modelo destilado solo con LLM en AudioCaps.
  • Alcanza una puntuación de 55.4 en Clotho, en comparación con un límite superior de 66.4 con un codificador mantenido.

El trabajo demuestra que colocar estratégicamente el conocimiento del maestro en los componentes es tan importante como su presencia para el rendimiento.