TiCodecは、Time-Invariant Representation Extraction (TIRE) モジュールを使用して、時間変動する音声コンテンツと時間不変情報を分離する因子分解表現を提案しています。このアプローチは、フレームレベルでモデル化する情報の量を削減し、低遅延の音声処理を容易にすることを目指しています。

  • プロビングタスクにより、中間エンコーダ層が補完的な話者および環境関連情報を捉え、言語的コンテンツはほとんど含まれていないことが示されました。
  • TIREトレーニング中のファイル間サンプリングは、不変表現の堅牢性を向上させます。
  • 提案されたDual-TIREアーキテクチャはこの補完性を活用し、音声再構築品質と話者類似性を向上させます。
  • 連続する660ms処理ブロックを使用したストリーミング推論により、再構築性能の顕著な劣化なしに動作が達成されます。

これらの結果は、将来の低遅延音声生成システムにおける因子分解型ニューラルコーデック表現の可能性を浮き彫りにしています。