CARD menghapus encoder audio untuk captioning efisien dengan mendistilasi CLAP-HTSAT

Para penulis memperkenalkan CARD, sebuah model captioning audio tanpa encoder yang menghilangkan biaya inferensi dari encoder audio beku dengan menggunakan projector 13.2M untuk memberi makan LLM beku dengan adapter LoRA yang digabungkan.

• CARD mendistilasi guru CLAP-HTSAT yang telah dilatih sebelumnya ke dalam sistem daripada mengandalkan encoder selama inferensi.
• Metode ini mengarahkan tahap perseptual ke projector dan tahap semantik ke LLM.
• Pendekatan ini meningkatkan CIDEr-D sebesar +12.18 dibandingkan dengan model distilasi hanya-LLM pada AudioCaps.
• Ini mencapai skor 55.4 pada Clotho, dibandingkan dengan batas atas 66.4 dengan encoder yang dipertahankan.

Karya ini menunjukkan bahwa penempatan pengetahuan guru secara strategis di seluruh komponen sama pentingnya dengan kehadirannya untuk kinerja.