Revisitando a Relação entre Perplexidade do Modelo de Linguagem e Taxa de Erro de Palavras (WER) para Reconhecimento de Fala End-to-End Moderno

Este artigo revisita a suposição histórica de que a perplexidade (PPL) do modelo de linguagem (LM) serve como um proxy linear para a taxa de erro de palavras (WER) no reconhecimento automático de fala (ASR) em espaço log-log. Examina se os LMs externos ainda melhoram os sistemas ASR end-to-end modernos e como o modelamento de linguagem interno afeta essa relação.

• O estudo investiga se a relação PPL-WER permanece linear para sistemas modernos que já possuem capacidade de modelamento de linguagem interno.
• Analisa como o comprimento do contexto do codificador influencia a correlação observada entre perplexidade e taxa de erro.
• A pesquisa explora como as perplexidades de grandes modelos de linguagem (LLM) se encaixam em tendências previamente estabelecidas por LMs neurais padrão.
• Mostra-se que a subtração do modelamento de linguagem interno (ILM) altera a relação PPL-WER observada, indicando que o LM interno do decodificador deve ser considerado ao interpretar a qualidade do LM externo.

As descobertas sugerem que a capacidade de modelamento de linguagem interno do decodificador impacta significativamente como a qualidade do LM externo afeta o desempenho do ASR.