다국어 화자 간화 대화 음성을 위한 다이애리제이션 가이드드 Qwen-ASR 적응

본 논문은 모듈러형 화자 다이애리제이션 프론트엔드와 챌린지 적응형 Qwen3-ASR-1.7B 인식기를 결합한 MLC-SLM 2026 챌린지를 위한 시스템을 설명한다.

다이애리제이션 프론트엔드는 음성 활동 감지, 하위 세그먼트 생성, CAMPPlus 화자 임베딩 추출, 두 화자 스펙트럴 클러스터링 및 RTTM 기반 오디오 세그멘테이션을 수행한다. 결과적으로 화자가 지정된 세그먼트는 언어 또는 지역별로 그룹화되어 적응형 ASR 모델로 디코딩된다. ASR 적응을 위해 시스템은 먼저 공식 훈련 데이터에서 지도 완전 파인튜닝을 수행한 후, 3개 파이프라인 TTS 프레임워크의 합성 음성을 사용하여 LoRA 파인튜닝을 적용하고, 마지막으로 GRPO 강화 학습을 사용하여 모델을 정제한다.

공식 개발 세트에서 전체 시스템은 평균 tcpMER 23.70을 달성하여 공개된 Qwen-ASR-1.7B 성능 대비 오류율을 절대값 6.83 포인트 감소시켰다. 최종 평가 세트에서 시스템은 평균 tcpMER 17.97을 달성했다.