Les chercheurs démontrent que l'optimisation relative par groupe des politiques (GRPO) surpasse significativement le fine-tuning supervisé (SFT) lors de l'adaptation de modèles de reconnaissance automatique de la parole basés sur des LLM vers des domaines réglementés en utilisant uniquement des données synthétiques de synthèse vocale. Cette approche comble le décalage acoustique entre les enregistrements synthétiques et réels tout en contournant les contraintes de confidentialité liées à la collecte de vraies paroles.
- L'adaptation uniquement synthétique avec GRPO réduit le taux d'erreur de mots (WER) de 40% par rapport au SFT, le faisant passer de 36,71 % à 22,09 %.
- La combinaison du SFT avec le GRPO améliore davantage les performances, atteignant une réduction de 45 % du WER.
- L'amélioration provient de changements comportementaux plutôt que de décalages de représentation, spécifiquement une meilleure calibration d'arrêt et un alignement parole-texte via l'ancrage par attention.
- Les représentations des premières couches restent intactes tandis que les erreurs d'insertion sont réduites.
Les auteurs concluent que lorsque la parole synthétique est la ressource principale pour l'adaptation du modèle, les méthodes d'apprentissage par renforcement comme le GRPO devraient être préférées au fine-tuning supervisé.