作者引入了 CARD，一种无编码器的音频字幕模型，通过使用一个拥有 13.2M 参数的投影器将数据输入冻结的 LLM（其中包含合并的 LoRA 适配器），从而消除了推理过程中冻结音频编码器的计算成本。

  • CARD 将预训练的 CLAP-HTSAT 教师模型蒸馏到系统中，而不是在推理期间依赖编码器。
  • 该方法将感知阶段路由至投影器，将语义阶段路由至 LLM。
  • 在 AudioCaps 上，这种方法使 CIDEr-D 指标比仅基于 LLM 蒸馏的模型提高了 +12.18。
  • 在 Clotho 数据集上取得了 55.4 的分数，而保留编码器时的上限为 66.4。

这项工作表明，战略性地将教师模型的知识分布在各个组件中，对于性能的重要性不亚于知识本身的存在。