В данной статье пересматривается историческое предположение о том, что перплексия (PPL) языковой модели (LM) служит линейным прокси для уровня ошибок слов (WER) в системах автоматического распознавания речи (ASR) в логарифмическом пространстве. Исследуется, улучшают ли внешние LM современные системы сквозного ASR и как внутреннее языковое моделирование влияет на эту взаимосвязь.
- Исследование проверяет, остается ли линейной связь PPL-WER для современных систем, уже обладающих внутренней емкостью языкового моделирования.
- Анализируется, как длина контекста энкодера влияет на наблюдаемую корреляцию между перплексией и уровнем ошибок.
- Исследование изучает, как перплексии больших языковых моделей (LLM) вписываются в тенденции, ранее установленные стандартными нейронными LM.
- Показано, что вычитание внутреннего языкового моделирования (ILM) изменяет наблюдаемую связь PPL-WER, что указывает на необходимость учета внутренней LM декодера при интерпретации качества внешней LM.
Результаты указывают на то, что внутренняя емкость языкового моделирования декодера существенно влияет на то, как качество внешней LM воздействует на производительность ASR.