शोधकर्ताओं ने दिखाया है कि Group Relative Policy Optimization (GRPO) supervised fine-tuning (SFT) से काफी बेहतर प्रदर्शन करता है जब LLM-आधारित automatic speech recognition (ASR) मॉडलों को केवल synthetic text-to-speech डेटा का उपयोग करके नियामक डोमेन में अनुकूलित किया जाता है। यह दृष्टिकोण गोपनीयता बाधाओं और ध्वनि संबंधी असंगतियों को संबोधित करता है जो आमतौर पर बैंकिंग जैसे क्षेत्रों में मॉडल प्रदर्शन को रोकते हैं।
- GRPO के साथ केवल synthetic अनुकूलन से SFT की तुलना में word error rate (WER) 40% कम हो जाता है, इसे 36.71% से घटाकर 22.09% कर दिया गया।
- SFT को GRPO के साथ जोड़ने से परिणाम और बेहतर होते हैं, जिससे WER में कुल 45% की कमी आती है।
- प्रदर्शन लाभ व्यवहारिक सुधारों से आता है न कि प्रतिनिधित्व परिवर्तनों से, विशेष रूप से बेहतर स्टॉपिंग कैलिब्रेशन और speech-to-text अलाइनमेंट।
- GRPO ध्यान को audio पर एंकर करके इनसर्शन त्रुटियों को कम करता है जबकि प्रारंभिक-परत प्रतिनिधित्वों को अपरिवर्तित छोड़ देता है।
लेखकों का निष्कर्ष है कि जब synthetic speech अनुकूलन के लिए प्राथमिक संसाधन होता है, तो reinforcement learning विधियों जैसे GRPO को supervised fine-tuning की तुलना में प्राथमिकता दी जानी चाहिए।