Los investigadores presentan un método genérico basado en gradientes para encontrar límites temporales de palabras en audio para cualquier modelo de Reconocimiento Automático de Habla (ASR) diferenciable, incluyendo aquellos que no proporcionan alineación nativamente como los codificadores-decodificadores basados en atención y LLMs de habla. El enfoque calcula el gradiente de la probabilidad logarítmica de cada token forzado por el maestro con respecto a la entrada, lo reduce a saliencia por cuadro y decodifica los límites de palabras mediante programación dinámica.
- El método no requiere entrenamiento, modificación del modelo o cabezales de alineación adicionales.
- Se alinea en la cuadrícula de entrada más fina en lugar de la cuadrícula de cuadros del codificador más gruesa utilizada por los modelos CTC o transductor.
- La evaluación en dieciséis modelos de cuatro familias muestra que produce alineaciones utilizables para cada modelo probado.
- El rendimiento es generalmente ligeramente inferior a los alineadores nativos fuertes, pero superior donde la alineación nativa es débil, como en modelos de streaming.
La desventaja principal identificada es el costo computacional de realizar un pase hacia atrás por token.