GRPO melhora o ASR em speech sintético em 40% em relação ao SFT

Pesquisadores demonstram que Group Relative Policy Optimization (GRPO) supera significativamente o supervised fine-tuning (SFT) ao adaptar modelos de automatic speech recognition (ASR) baseados em LLM para domínios regulados usando apenas dados sintéticos de text-to-speech. Esta abordagem aborda as restrições de privacidade e as discrepâncias acústicas que tipicamente impedem o desempenho do modelo em setores como o bancário.

• A adaptação apenas com dados sintéticos com GRPO reduz a word error rate (WER) em 40% em relação ao SFT, diminuindo-a de 36.71% para 22.09%.
• Combinar SFT com GRPO melhora ainda mais os resultados, alcançando uma redução total da WER de 45%.
• O ganho de desempenho decorre de melhorias comportamentais em vez de mudanças nas representações, especificamente uma melhor calibração de parada e alinhamento speech-to-text.
• GRPO reduz erros de inserção ancorando a atenção ao audio enquanto deixa as representações das camadas iniciais intactas.

Os autores concluem que quando o speech sintético é o recurso principal para adaptação, métodos de reinforcement learning como GRPO devem ser preferidos em vez do supervised fine-tuning.