Компания NVIDIA выпустила обновление для своей многоязычной модели синтеза речи Magpie Multilingual TTS, расширив поддержку до двенадцати языков за счёт добавления современного стандартного арабского, корейского и бразильского португальского. В релизе также представлены улучшения качества для существующих языков благодаря обновлённым обучающим данным и изменениям в архитектуре.

  • Открытая модель с 364M параметров теперь поддерживает английский, испанский, французский, немецкий, итальянский, вьетнамский, китайский (путунхуа), хинди, японский и три новых языка.
  • Расширенная поддержка кодомикширования для хинди и японского реализована через обработку графемы в фонему по МФА и пользовательские словари произношения.
  • Фреймовое стекирование и локальный трансформер сокращают время вывода при сохранении качества речи.
  • Модель достигает показателя Time to First Audio (TTFA) на уровне 32 мс на GPU B200, оставляя бюджет задержки для обработки ASR и LLM.
  • Объективные метрики демонстрируют снижение частоты ошибок символов и более высокую схожесть голоса по сравнению с предыдущим релизом.

Обновление позволяет разработчикам развёртывать многоязычный синтез речи в собственной инфраструктуре, оптимизируя решение под низкую задержку, резидентность данных и кастомизацию под конкретную предметную область.