Les chercheurs présentent une méthode générique basée sur le gradient pour trouver les limites temporelles des mots dans l'audio pour tout modèle de Reconnaissance Automatique de la Parole (ASR) différentiable, y compris ceux qui ne fournissent pas nativement d'alignement comme les encodeurs-décoders basés sur l'attention et les LLMs vocaux. L'approche calcule le gradient de chaque probabilité logarithmique de token forcée par l'enseignant par rapport à l'entrée, la réduit en saillance par trame, et décode les limites des mots via la programmation dynamique.
- La méthode ne nécessite aucun entraînement, modification du modèle ou têtes d'alignement supplémentaires.
- Elle aligne sur la grille d'entrée plus fine plutôt que sur la grille de trame de l'encodeur plus grossière utilisée par les modèles CTC ou transducteur.
- L'évaluation sur seize modèles de quatre familles montre qu'elle produit des alignements exploitables pour chaque modèle testé.
- Les performances sont généralement légèrement en retrait par rapport aux aligneurs natifs performants, mais supérieures là où l'alignement natif est faible, comme dans les modèles en streaming.
Le principal inconvénient identifié est le coût computationnel d'effectuer un passage arrière par token.