Cet article réexamine l'hypothèse historique selon laquelle la perplexité (PPL) du modèle de langage (LM) sert de proxy linéaire pour le taux d'erreur de mots (WER) de la reconnaissance automatique de la parole (ASR) dans un espace log-log. Il examine si les LM externes améliorent toujours les systèmes ASR modernes de bout en bout et comment la modélisation linguistique interne affecte cette relation.
- L'étude investigate si la relation PPL-WER reste linéaire pour les systèmes modernes qui possèdent déjà une capacité de modélisation linguistique interne.
- Elle analyse comment la longueur du contexte de l'encodeur influence la corrélation observée entre la perplexité et le taux d'erreur.
- La recherche explore comment les perplexités des grands modèles de langage (LLM) s'intègrent dans les tendances précédemment établies par les LM neuronaux standard.
- Il est montré que la soustraction de la modélisation linguistique interne (ILM) modifie la relation PPL-WER observée, indiquant que le LM interne du décodeur doit être pris en compte lors de l'interprétation de la qualité du LM externe.
Les résultats suggèrent que la capacité de modélisation linguistique interne du décodeur a un impact significatif sur la manière dont la qualité du LM externe affecte les performances ASR.