GRPO는 합성 음성에서 SFT 대비 ASR 성능을 40% 향상시킴

연구진은 Group Relative Policy Optimization (GRPO)가 합성 텍스트 음성 변환 데이터만 사용하여 LLM 기반 자동 음성 인식(ASR) 모델을 규제된 도메인에 적응시킬 때 지도 미세 조정(SFT)을 크게 능가함을 입증했습니다. 이 접근 방식은 은행 등 산업에서 모델 성능을 일반적으로 저해하는 프라이버시 제약과 음향 불일치를 해결합니다.

• GRPO를 사용한 합성 데이터 전용 적응은 SFT 대비 단어 오류율(WER)을 40% 감소시켜 36.71%에서 22.09%로 낮췄습니다.
• SFT와 GRPO를 결합하면 결과가 더욱 개선되어 총 WER 감소율이 45%에 달합니다.
• 성능 향상은 표현 변화가 아닌 행동 개선에서 비롯되며, 특히 정지 보정과 음성-텍스트 정렬이 개선되었습니다.
• GRPO는 오디오에 주의를 고정하여 삽입 오류를 줄이고 초기 계층의 표현은 그대로 유지합니다.

저자들은 적응을 위한 주요 자원이 합성 음성일 경우 지도 미세 조정보다 GRPO와 같은 강화 학습 방법을 우선시해야 한다고 결론지었습니다.