Исследователи представляют общий градиентный метод поиска временных границ слов в аудио для любой дифференцируемой модели автоматического распознавания речи (ASR), включая те, которые не предоставляют выравнивание нативно, такие как attention-based encoder-decoders и speech LLMs. Метод вычисляет градиент каждой логарифмической вероятности токена при обучении с учителем по отношению к входным данным, сводит его к важности по кадрам и декодирует границы слов с помощью динамического программирования.
- Метод не требует обучения, модификации модели или дополнительных голов выравнивания.
- Выравнивание происходит на более мелкой сетке входных данных, а не на более грубой сетке кадров энкодера, используемой моделями CTC или transducer.
- Оценка по шестнадцати моделям из четырех семейств показывает, что метод дает пригодные для использования выравнивания для каждой протестированной модели.
- Производительность обычно немного уступает сильным нативным выравнивателям, но превосходит их там, где нативное выравнивание слабое, например, в потоковых моделях.
Основным недостатком является вычислительная стоимость выполнения одного обратного прохода на каждый токен.