TiCodec 提出了一种因子化表示方法，使用时不变表示提取（TIRE）模块将随时间变化的语音内容与时间不变信息分离。该方法旨在减少必须在帧级建模的信息量，从而促进低延迟语音处理。

  • 探测任务表明，中间编码器层捕获了互补的说话人和环境相关信息，同时包含很少的语言内容。
  • TIRE 训练期间的跨文件采样提高了不变表示的鲁棒性。
  • 提出的 Dual-TIRE 架构利用这种互补性来提高语音重建质量和说话人相似度。
  • 使用连续的 660ms 处理块进行流式推理可实现操作，且重建性能没有显著下降。

结果突出了因子化神经编解码器表示在未来低延迟语音生成系统中的潜力。