NVIDIA a publié une mise à jour de son modèle Magpie Multilingual TTS, élargissant le support à douze langues avec l'ajout de l'arabe standard moderne, du coréen et du portugais brésilien. La publication inclut également des améliorations de qualité pour les langues existantes grâce à des données d'entraînement mises à jour et des modifications architecturales.
- Le modèle open-weights de 364M paramètres prend désormais en charge l'anglais, l'espagnol, le français, l'allemand, l'italien, le vietnamien, le mandarin, l'hindi, le japonais et les trois nouvelles langues.
- La prise en charge élargie du code-switching pour l'hindi et le japonais est activée via un traitement graphème-à-phonème IPA et des dictionnaires de prononciation personnalisés.
- L'empilement de trames et un transformateur local réduisent le temps d'inférence tout en maintenant la qualité de la parole.
- Le modèle atteint un Time to First Audio (TTFA) de 32ms sur les GPU B200, laissant du budget de latence pour le traitement ASR et LLM.
- Les métriques objectives montrent des taux d'erreur de caractères réduits et une plus grande similarité des locuteurs par rapport à la version précédente.
La mise à jour permet aux développeurs de déployer la synthèse vocale multilingue dans leur propre infrastructure, en optimisant pour une faible latence, la résidence des données et la personnalisation spécifique au domaine.