GRPO reduz o WER em 40% na adaptação de ASR apenas com dados sintéticos

Pesquisadores demonstram que Group Relative Policy Optimization (GRPO) supera significativamente o supervised fine-tuning (SFT) ao adaptar modelos automatic speech recognition baseados em LLM para domínios regulados usando apenas dados text-to-speech sintéticos. Esta abordagem aborda a discrepância acústica entre gravações sintéticas e reais, contornando as restrições de privacidade associadas à coleta de speech real.

• A adaptação apenas com dados sintéticos com GRPO reduz o Word Error Rate (WER) em 40% em relação ao SFT, diminuindo-o de 36.71% para 22.09%.
• Combinar SFT com GRPO melhora ainda mais o desempenho, alcançando uma redução de 45% no WER.
• A melhoria decorre de mudanças comportamentais em vez de shifts de representação, especificamente melhor calibração de parada e alinhamento speech-to-text via anchoring de atenção.
• As representações das early-layers permanecem intactas enquanto os insertion errors são reduzidos.

Os autores concluem que quando o synthetic speech é o recurso principal para adaptação do modelo, métodos reinforcement learning como GRPO devem ser preferidos em vez do supervised fine-tuning.