Les chercheurs proposent une recette pratique d'apprentissage par renforcement avec récompenses vérifiables pour l'adaptation efficace en données des modèles audio-langue à la reconnaissance automatique de la parole (ASR) à commutation de code. La méthode utilise l'optimisation relative de politique de groupe, combinant une récompense de taux d'erreur avec une récompense de fidélité au script qui pénalise les systèmes d'écriture incorrects.
- Entraînement uniquement sur des discours à commutation de code générés par TTS en utilisant Qwen2-Audio sur 10 paires de langues.
- RLVR avec 10 % des données correspond aux performances du réglage fin supervisé LoRA entraîné sur l'ensemble du jeu de données.
- La récompense de taux d'élimine les erreurs de traduction tandis que la récompense de fidélité au script réduit la contamination du script.
- Les gains se transfèrent en zero-shot à un corpus de commutation de code enregistré par des humains.
L'approche montre les plus grandes améliorations sur les paires typologiquement distantes et fournit une plateforme de test reproductible pour adapter les modèles à la parole à commutation de code sans nécessiter de grands jeux de données étiquetés.