O TiCodec propõe uma representação fatorada que separa o conteúdo da voz variável no tempo das informações invariantes ao tempo usando um módulo de Extração de Representação Invariante ao Tempo (TIRE). Esta abordagem visa reduzir a quantidade de informação que deve ser modelada em nível de quadro, facilitando o processamento de fala com baixa latência.
- Tarefas de sondagem revelam que as camadas intermediárias do codificador capturam informações complementares relacionadas ao falante e ao ambiente, enquanto contêm pouco conteúdo linguístico.
- A amostragem entre arquivos durante o treinamento do TIRE melhora a robustez das representações invariantes.
- A arquitetura Dual-TIRE proposta explora essa complementaridade para melhorar a qualidade da reconstrução da fala e a similaridade do falante.
- A inferência em streaming usando blocos de processamento sucessivos de 660ms consegue operar sem degradação significativa no desempenho da reconstrução.
Os resultados destacam o potencial das representações de codec neural fatoradas para futuros sistemas de geração de fala com baixa latência.