Исследователи демонстрируют, что Group Relative Policy Optimization (GRPO) значительно превосходит supervised fine-tuning (SFT) при адаптации моделей автоматического распознавания речи (ASR) на основе LLM к регулируемым доменам с использованием только синтетических данных синтеза речи. Этот подход решает проблемы ограничений конфиденциальности и акустических несоответствий, которые обычно препятствуют производительности моделей в таких секторах, как банковское дело.

  • Адаптация только на синтетических данных с GRPO снижает word error rate (WER) на 40% по сравнению с SFT, уменьшая его с 36.71% до 22.09%.
  • Комбинация SFT и GRPO дополнительно улучшает результаты, достигая общего снижения WER на 45%.
  • Прирост производительности обусловлен поведенческими улучшениями, а не изменениями представлений, в частности лучшей калибровкой остановки и выравниванием речь-текст.
  • GRPO снижает ошибки вставки, закрепляя внимание на аудио, оставляя нетронутыми представления ранних слоев.

Авторы приходят к выводу, что когда синтетическая речь является основным ресурсом для адаптации, методы reinforcement learning, такие как GRPO, следует предпочесть supervised fine-tuning.