GRPO снижает WER на 40% при адаптации ASR только на синтетических данных

Исследователи демонстрируют, что Group Relative Policy Optimization (GRPO) значительно превосходит supervised fine-tuning (SFT) при адаптации моделей распознавания речи LLM-based к регулируемым доменам с использованием исключительно синтетических text-to-speech данных. Этот подход решает проблему акустического несоответствия между синтетическими и реальными записями, обходя ограничения конфиденциальности, связанные со сбором реальной речи.

• Адаптация только на синтетических данных с GRPO снижает Word Error Rate (WER) на 40% по сравнению с SFT, уменьшая его с 36.71% до 22.09%.
• Комбинация SFT и GRPO дополнительно улучшает результаты, достигая снижения WER на 45%.
• Улучшение обусловлено изменениями поведения, а не сдвигом представлений, конкретно лучшей калибровкой остановки и выравниванием речи в текст через anchoring внимания.
• Представления ранних слоев остаются неизменными, при этом ошибки вставки сокращаются.

Авторы приходят к выводу, что когда синтетическая речь является основным ресурсом для адаптации модели, методы reinforcement learning, такие как GRPO, следует предпочесть supervised fine-tuning.