저자들은 CARD를 소개합니다. 이는 동결된 LLM에 병합된 LoRA 어댑터를 공급하는 13.2M 프로젝트터를 사용하여 동결된 오디오 인코더의 추론 비용을 제거하는 인코더 없는 오디오 캡셔닝 모델입니다.

  • CARD는 추론 시 인코더에 의존하는 대신 시스템 내에 사전 학습된 CLAP-HTSAT 교사를 증류합니다.
  • 이 방법은 지각 단계를 프로젝트터로, 의미 단계를 LLM으로 라우팅합니다.
  • 이 접근 방식은 AudioCaps에서 LLM-only 증류 모델 대비 CIDEr-D를 +12.18 향상시킵니다.
  • 인코더를 유지할 때의 상한 점수 66.4와 비교하여 Clotho에서 55.4의 점수를 달성했습니다.

이 작업은 교사의 지식을 구성 요소에 전략적으로 배치하는 것이 성능에 있어 그 존재만큼이나 중요함을 보여줍니다.