Les chercheurs proposent SPAM, une méthode qui exploite les modèles de parole auto-supervisés (S3Ms) pour résoudre simultanément la segmentation et la reconnaissance des phones en orientant la structure phonétique latente. L'approche mappe chaque frame de représentation S3M à un vecteur d'activations de caractéristiques phonologiques, telles que la voyelle et la nasalité.
- SPAM utilise des têtes de prédiction légères sans descente de gradient pour les tâches de reconnaissance et de segmentation.
- La méthode nécessite moins d'une minute de transcriptions phonétiques pour l'entraînement.
- Elle se généralise aux phones non vus pendant l'entraînement et atteint de fortes performances sur divers ensembles de données.