El marco COALA mejora el sesgo contextual de ASR mediante regularización contrastiva

Los investigadores proponen COALA, un marco robusto diseñado para mejorar los modelos de lenguaje aumentados con voz (SLM) para el reconocimiento automático del habla en escenarios complejos con múltiples entidades. El sistema aborda las limitaciones de la ventana de contexto mapeando las representaciones latentes de SLM a un espacio discriminativo para cuantificar la intensidad de coincidencia entre segmentos de audio y entidades candidatas.

• Mapea las representaciones latentes de SLM a un espacio discriminativo especializado para identificar entidades objetivo relevantes de listas de sesgo a gran escala.
• Aborda el colapso del entrenamiento en estudios previos al manejar utterances multiobjetivo donde múltiples palabras raras coocurren.
• Utiliza regularizador contrastivo y técnicas de estimación de puntuación de sesgo.
• Demuestra un rendimiento superior de sesgo contextual en varias escalas de listas de sesgo en el benchmark LibriSpeech.