A NVIDIA lançou uma atualização para seu modelo de TTS multilíngue Magpie, expandindo o suporte para doze idiomas com a adição de Árabe Padrão Moderno, coreano e português brasileiro. A versão também inclui melhorias de qualidade nos idiomas existentes por meio de dados de treinamento atualizados e alterações na arquitetura.

  • O modelo de pesos abertos com 364M de parâmetros agora suporta inglês, espanhol, francês, alemão, italiano, vietnamita, mandarim, hindi, japonês e os três novos idiomas.
  • O suporte expandido para code-switching em hindi e japonês é habilitado por meio de processamento de grafema-fonema via IPA e dicionários de pronúncia personalizados.
  • Empilhamento de frames e um transformer local reduzem o tempo de inferência enquanto mantêm a qualidade da fala.
  • O modelo atinge um Tempo para Primeiro Áudio (TTFA) de 32ms em GPUs B200, deixando margem no orçamento de latência para processamento de ASR e LLM.
  • Métricas objetivas mostram redução nas taxas de erro de caracteres e maior similaridade entre falantes em comparação com a versão anterior.

A atualização permite que desenvolvedores implementem síntese de fala multilíngue dentro de sua própria infraestrutura, otimizando para baixa latência, residência de dados e personalização específica do domínio.