GRPO reduce el WER en un 40% en la adaptación de ASR solo con datos sintéticos

Los investigadores demuestran que Group Relative Policy Optimization (GRPO) supera significativamente al supervised fine-tuning (SFT) al adaptar modelos de reconocimiento automático de speech basados en LLM a dominios regulados utilizando únicamente datos text-to-speech sintéticos. Este enfoque aborda la discrepancia acústica entre grabaciones sintéticas y reales, evitando las restricciones de privacidad asociadas con la recopilación de speech real.

• La adaptación solo con datos sintéticos con GRPO reduce el Word Error Rate (WER) en un 40% en comparación con SFT, bajándolo del 36.71% al 22.09%.
• Combinar SFT con GRPO mejora aún más el rendimiento, logrando una reducción del WER del 45%.
• La mejora proviene de cambios conductuales en lugar de desplazamientos de representación, específicamente una mejor calibración de parada y alineación speech-to-text mediante anchoring de atención.
• Las representaciones de las capas tempranas permanecen intactas mientras se reducen los errores de inserción.

Los autores concluyen que cuando el speech sintético es el recurso principal para la adaptación del modelo, los métodos de reinforcement learning como GRPO deben preferirse sobre el supervised fine-tuning.