CARD убирает аудиоэнкодер для эффективной генерации описаний путём дистилляции CLAP-HTSAT

Авторы представляют CARD, модель генерации аудиоописаний без энкодера, которая устраняет затраты на инференс замороженных аудиоэнкодеров, используя проектор на 13.2M параметров для подачи данных в замороженную LLM с объединёнными адаптерами LoRA.

• CARD дистиллирует предварительно обученного учителя CLAP-HTSAT в систему, вместо того чтобы полагаться на энкодер во время инференса.
• Метод маршрутизирует перцептивные этапы к проектору, а семантические — к LLM.
• Этот подход улучшает метрику CIDEr-D на +12.18 по сравнению с моделью, дистиллированной только из LLM, на датасете AudioCaps.
• Он достигает результата 55.4 на Clotho, по сравнению с верхней границей в 66.4 при сохранении энкодера.

Работа демонстрирует, что стратегическое распределение знаний учителя по компонентам так же важно для производительности, как и само их наличие.