Les chercheurs proposent COALA, un framework robuste conçu pour améliorer les modèles de langage augmentés par la parole (SLMs) pour la reconnaissance automatique de la parole (SRAT) dans des scénarios complexes à multiples entités. Le système comble les limitations de la fenêtre de contexte en mappant les représentations latentes des SLMs dans un espace discriminatif pour quantifier l'intensité de correspondance entre les segments audio et les entités candidates.
- Mappe les représentations latentes des SLMs dans un espace discriminatif spécialisé pour identifier les entités cibles pertinentes à partir de listes de biais à grande échelle.
- Traite l'effondrement de l'entraînement observé dans les études antérieures lors de la gestion d'énoncés multi-cibles où plusieurs mots rares co-occurrent.
- Utilise un régulariseur contrastif et des techniques d'estimation du score de biais.
- Démontre une performance de biais contextuel supérieure à travers différentes échelles de listes de biais sur le benchmark LibriSpeech.