연구자들은 오디오-언어 모델을 코드스위치 자동 음성 인식(ASR)에 데이터 효율적으로 적응시키기 위한 검증 가능한 보상과 함께 실용적인 강화학습 레시피를 제안합니다. 이 방법은 그룹 상대적 정책 최적화를 사용하며, 오류율 보상과 잘못된 문자 체계를 패널티로 하는 스크립트 충실도 보상을 결합합니다.

  • Qwen2-Audio를 사용하여 10개 언어 쌍에 대해 TTS 코드스위치 음성만으로 훈련.
  • 데이터의 10%를 사용한 RLVR은 전체 데이터셋으로 훈련된 LoRA 지도 미세 조정과 성능이 일치합니다.
  • 오류율 보상은 번역 오류를 제거하고 스크립트 충실도 보상은 스크립트 오염을 줄입니다.
  • 이 접근법의 이점은 인간이 녹음한 코드스위치 말뭉치에 제로샷으로 이전됩니다.

이 접근법은 유형학적으로 먼 쌍에서 가장 큰 향상을 보여주며, 대규모 라벨링된 데이터셋 없이 모델을 코드스위치 음성에게 적응시키기 위한 재현 가능한 테스트베드를 제공합니다.