Revisitar la relación entre la perplejidad del modelo de lenguaje y la tasa de error de palabras (WER) para el reconocimiento de voz extremo a extremo moderno

Este artículo revisita la suposición histórica de que la perplejidad (PPL) del modelo de lenguaje (LM) sirve como un proxy lineal para la tasa de error de palabras (WER) en el reconocimiento automático de voz (ASR) en espacio log-log. Examina si los LM externos aún mejoran los sistemas ASR extremo a extremo modernos y cómo el modelado de lenguaje interno afecta esta relación.

• El estudio investiga si la relación PPL-WER sigue siendo lineal para sistemas modernos que ya poseen capacidad de modelado de lenguaje interno.
• Analiza cómo la longitud del contexto del codificador influye en la correlación observada entre perplejidad y tasa de error.
• La investigación explora cómo las perplejidades de los grandes modelos de lenguaje (LLM) se ajustan a tendencias previamente establecidas por LM neuronales estándar.
• Se muestra que la sustracción del modelado de lenguaje interno (ILM) cambia la relación PPL-WER observada, indicando que el LM interno del decodificador debe considerarse al interpretar la calidad del LM externo.

Los hallazgos sugieren que la capacidad de modelado de lenguaje interno del decodidor impacta significativamente en cómo la calidad del LM externo afecta el rendimiento del ASR.