TiCodec propose une représentation factorisée qui sépare le contenu vocal variant dans le temps des informations invariantes dans le temps à l'aide d'un module d'extraction de représentation invariante dans le temps (TIRE). Cette approche vise à réduire la quantité d'informations à modéliser au niveau de la trame, facilitant ainsi le traitement vocal à faible latence.
- Les tâches de sondage révèlent que les couches intermédiaires de l'encodeur capturent des informations complémentaires liées au locuteur et à l'environnement, tout en contenant peu de contenu linguistique.
- L'échantillonnage inter-fichiers pendant l'entraînement de TIRE améliore la robustesse des représentations invariantes.
- L'architecture Dual-TIRE proposée exploite cette complémentarité pour améliorer la qualité de reconstruction vocale et la similarité des locuteurs.
- L'inférence en streaming utilisant des blocs de traitement successifs de 660 ms permet un fonctionnement sans dégradation significative des performances de reconstruction.
Les résultats mettent en évidence le potentiel des représentations de codecs neuronaux factorisés pour les futurs systèmes de génération vocale à faible latence.