TiCodec은 Time-Invariant Representation Extraction (TIRE) 모듈을 사용하여 시간 가변 음성 콘텐츠와 시간 불변 정보를 분리하는 분해 표현을 제안합니다. 이 접근 방식은 프레임 수준에서 모델링해야 하는 정보의 양을 줄여 저지연 음성 처리를 용이하게 하는 것을 목표로 합니다.
- 프로빙 작업은 중간 인코더 레이어가 보완적인 화자 및 환경 관련 정보를 포착하고 언어적 콘텐츠는 거의 포함하지 않음을 보여줍니다.
- TIRE 훈련 중 파일 간 샘플링은 불변 표현의 강건성을 향상시킵니다.
- 제안된 Dual-TIRE 아키텍처는 이러한 보완성을 활용하여 음성 재구성 품질과 화자 유사성을 개선합니다.
- 연속적인 660ms 처리 블록을 사용한 스트리밍 추론은 재구성 성능의 현저한 저하 없이 동작을 달성합니다.
이 결과는 향후 저지연 음성 생성 시스템에서 분해형 신경 코덱 표현의 잠재력을 강조합니다.