GRPO améliore la RAS sur les voix synthétiques de 40 % par rapport à SFT

Les chercheurs démontrent que l'optimisation relative du groupe (GRPO) surpasse largement le fine-tuning supervisé (SFT) lors de l'adaptation de modèles de reconnaissance automatique de la parole (RAS) basés sur des LLM vers des domaines réglementés en utilisant uniquement des données de synthèse vocale. Cette approche répond aux contraintes de confidentialité et aux désalignements acoustiques qui entravent généralement les performances des modèles dans des secteurs comme la banque.

• L'adaptation uniquement synthétique avec GRPO réduit le taux d'erreur de mots (WER) de 40 % par rapport au SFT, le faisant passer de 36,71 % à 22,09 %.
• La combinaison du SFT avec le GRPO améliore davantage les résultats, atteignant une réduction totale du WER de 45 %.
• Le gain de performance provient d'améliorations comportementales plutôt que de changements de représentation, spécifiquement un meilleur calibrage de l'arrêt et un alignement parole-texte amélioré.
• Le GRPO réduit les erreurs d'insertion en ancrant l'attention sur l'audio tout en laissant les représentations des premières couches intactes.

Les auteurs concluent que lorsque la voix synthétique est la ressource principale pour l'adaptation, les méthodes d'apprentissage par renforcement comme le GRPO devraient être préférées au fine-tuning supervisé.