शोधकर्ताओं ने दिखाया है कि Group Relative Policy Optimization (GRPO) supervised fine-tuning (SFT) की तुलना में significantly बेहतर प्रदर्शन करता है जब LLM-based automatic speech recognition मॉडलों को केवल synthetic text-to-speech डेटा का उपयोग करके regulated domains में adapt किया जाता है। यह दृष्टिकोण synthetic और real रिकॉर्डिंग्स के बीच acoustic mismatch को संबोधित करता है, जबकि real speech इकट्ठा करने से जुड़े privacy constraints से बचता है।
- GRPO के साथ केवल synthetic अनुकूलन ने SFT की तुलना में Word Error Rate (WER) को 40% कम कर दिया, इसे 36.71% से घटाकर 22.09% कर दिया।
- SFT को GRPO के साथ combine करने से performance और बेहतर हो गई, जिससे WER में 45% की कमी आई।
- सुधार behavioral changes से आता है न कि representation shifts से, विशेष रूप से बेहतर stopping calibration और attention anchoring के माध्यम से speech-to-text alignment।
- Early-layer representations intact रहते हैं जबकि insertion errors कम हो जाते हैं।
लेखकों का निष्कर्ष है कि जब synthetic speech मॉडल अनुकूलन के लिए primary resource होता है, तो reinforcement learning विधियों जैसे GRPO को supervised fine-tuning पर प्राथमिकता दी जानी चाहिए।