लेखकों ने CARD पेश किया, जो एक एन्कोडर-मुक्त ऑडियो कैप्शनिंग मॉडल है जो फ्रोजन ऑडियो एन्कोडर्स के इनफरेंस लागत को 13.2M प्रोजेक्टर का उपयोग करके हटा देता है, जो लोरै एडाप्टर्स के विलीन संस्करणों के साथ एक फ्रोजन LLM को डेटा भेजता है।
- CARD प्रीट्रेन्ड CLAP-HTSAT टीचर को सिस्टम में डिस्टिल करता है, इनफरेंस के दौरान एन्कोडर पर निर्भर करने के बजाय।
- विधि परसेपचुअल चरणों को प्रोजेक्टर की ओर और सेमांटिक चरणों को LLM की ओर रूट करती है।
- इस दृष्टिकोण ने AudioCaps पर एक केवल-LLM डिस्टिल्ड मॉडल की तुलना में CIDEr-D को +12.18 से बेहतर बनाया।
- यह Clotho पर 55.4 का स्कोर हासिल करता है, जबकि एन्कोडर रखने के साथ एक ऊपरी सीमा 66.4 थी।
यह कार्य दिखाता है कि घटकों में टीचर के ज्ञान को रणनीतिक रूप से रखना प्रदर्शन के लिए इसके मौजूद होने के उतना ही महत्वपूर्ण है।