TiCodec propone una representación factorizada que separa el contenido de voz variable en el tiempo de la información invariante al tiempo utilizando un módulo de extracción de representación invariante al tiempo (TIRE). Este enfoque tiene como objetivo reducir la cantidad de información que debe modelarse a nivel de cuadro, facilitando el procesamiento de voz con baja latencia.
- Las tareas de sondeo revelan que las capas intermedias del codificador capturan información complementaria relacionada con el hablante y el entorno, mientras contienen poco contenido lingüístico.
- El muestreo entre archivos durante el entrenamiento de TIRE mejora la robustez de las representaciones invariantes.
- La arquitectura Dual-TIRE propuesta explota esta complementariedad para mejorar la calidad de reconstrucción de voz y la similitud del hablante.
- La inferencia en transmisión utilizando bloques de procesamiento sucesivos de 660 ms logra operar sin una degradación significativa en el rendimiento de reconstrucción.
Los resultados destacan el potencial de las representaciones de códec neuronal factorizadas para futuros sistemas de generación de voz con baja latencia.