Los investigadores demuestran que Group Relative Policy Optimization (GRPO) supera significativamente al supervised fine-tuning (SFT) al adaptar modelos de reconocimiento automático de speech (ASR) basados en LLM a dominios regulados utilizando únicamente datos sintéticos de text-to-speech. Este enfoque aborda las restricciones de privacidad y las discrepancias acústicas que suelen obstaculizar el rendimiento del modelo en sectores como la banca.

  • La adaptación solo con datos sintéticos mediante GRPO reduce la word error rate (WER) un 40% en comparación con SFT, disminuyéndola del 36.71% al 22.09%.
  • Combinar SFT con GRPO mejora aún más los resultados, logrando una reducción total de WER del 45%.
  • La ganancia de rendimiento proviene de mejoras conductuales en lugar de cambios en las representaciones, específicamente una mejor calibración de parada y alineación speech-to-text.
  • GRPO reduce los errores de inserción anclando la atención al audio mientras deja intactas las representaciones de las capas iniciales.

Los autores concluyen que cuando el speech sintético es el recurso principal para la adaptación, los métodos de reinforcement learning como GRPO deben preferirse sobre el supervised fine-tuning.