NVIDIA는 Magpie 다국어 TTS 모델의 업데이트를 출시하여 현대 표준 아랍어, 한국어, 브라질 포르투갈어를 추가해 총 12개 언어로 지원을 확대했습니다. 이번 릴리스는 업데이트된 학습 데이터와 아키텍처 변경을 통해 기존 언어 전반에 걸쳐 품질을 개선했습니다.

  • 364M 파라미터의 오픈 가중치 모델은 이제 영어, 스페인어, 프랑스어, 독일어, 이탈리아어, 베트남어, 중국어, 힌디어, 일본어 및 세 가지 새로운 언어를 지원합니다.
  • 힌디어와 일본어의 확장된 코드 전환 지원은 IPA 그래피즘-음소 처리와 사용자 정의 발음 사전을 통해 활성화됩니다.
  • 프레임 스택킹과 로컬 트랜스포머는 음성 품질을 유지하면서 추론 시간을 단축합니다.
  • 이 모델은 B200 GPU에서 32ms의 Time to First Audio (TTFA)를 달성하여 ASR 및 LLM 처리를 위한 지연 시간 여유를 확보했습니다.
  • 객관적 지표는 이전 릴리스 대비 문자 오류율 감소와 더 높은 화자 유사도를 보여줍니다.

이번 업데이트를 통해 개발자는 자체 인프라 내에서 다국어 음성 합성을 배포할 수 있으며, 낮은 지연 시간, 데이터 거주성 및 도메인별 맞춤 설정을 최적화할 수 있습니다.