Pesquisadores propõem o COALA, um framework robusto projetado para aprimorar modelos de linguagem aumentados por fala (SLMs) para reconhecimento automático de fala em cenários complexos com múltiplas entidades. O sistema aborda limitações da janela de contexto mapeando representações latentes do SLM para um espaço discriminativo para quantificar a intensidade de correspondência entre segmentos de áudio e entidades candidatas.
- Mapeia representações latentes do SLM para um espaço discriminativo especializado para identificar entidades alvo relevantes de listas de viamento em grande escala.
- Aborda o colapso do treinamento em estudos anteriores ao lidar com utterances multi-alvo onde múltiplas palavras raras coocorrem.
- Utiliza regularizador contrastivo e técnicas de estimativa de pontuação de viamento.
- Demonstra desempenho superior de viamento contextual em várias escalas de listas de viamento no benchmark LibriSpeech.