TiCodec mengusulkan representasi terfaktorisasi yang memisahkan konten suara yang berubah terhadap waktu dari informasi yang invarian terhadap waktu menggunakan modul Ekstraksi Representasi Invarian Waktu (TIRE). Pendekatan ini bertujuan untuk mengurangi jumlah informasi yang harus dimodelkan pada tingkat frame, sehingga memudahkan pemrosesan suara latensi rendah.
- Tugas probing mengungkapkan bahwa lapisan encoder menengah menangkap informasi pelengkap terkait pembicara dan lingkungan sambil mengandung sedikit konten linguistik.
- Sampling lintas-file selama pelatihan TIRE meningkatkan ketahanan representasi invarian.
- Arsitektur Dual-TIRE yang diusulkan memanfaatkan komplementaritas ini untuk meningkatkan kualitas rekonstruksi suara dan kesamaan pembicara.
- Inferensi streaming menggunakan blok pemrosesan berturut-turut sebesar 660ms mencapai operasi tanpa degradasi signifikan dalam kinerja rekonstruksi.
Hasil-hasil tersebut menyoroti potensi representasi codec saraf terfaktorisasi untuk sistem generasi suara latensi rendah di masa depan.