GRPO는 합성 전용 ASR 적응에서 WER을 40% 감소시킴

연구진은 Group Relative Policy Optimization (GRPO) 가 합성 텍스트 음성 데이터만을 사용하여 LLM 기반 자동 음성 인식 모델을 규제 도메인에 적응시킬 때 지도 미세 조정(SFT) 을 크게 능가함을 입증했습니다. 이 접근 방식은 합성 녹음과 실제 녹음 간의 음향 불일치를 해결하며 실제 음성 수집과 관련된 프라이버시 제약을 우회합니다.

• GRPO를 사용한 합성 전용 적응은 SFT 대비 Word Error Rate (WER) 를 40% 감소시켜 36.71%에서 22.09%로 낮췄습니다.
• SFT와 GRPO를 결합하면 성능이 더욱 향상되어 WER이 45% 감소했습니다.
• 이 개선은 표현의 변화가 아닌 행동 변화에서 비롯되며, 특히 어텐션 앵커링을 통한 더 나은 정지 보정과 음성-텍스트 정렬이 포함됩니다.
• 초기 계층의 표현은 그대로 유지되면서 삽입 오류가 감소합니다.

저자들은 모델 적응을 위한 주요 자원으로 합성 음성이 사용될 경우 지도 미세 조정보다 GRPO와 같은 강화 학습 방법을 선호해야 한다고 결론지었습니다.