著者らは、大規模言語モデル（LLM）ベースのテキスト読み上げ（TTS）を暗黙的生成から明示的で高度に制御可能なパラダイムへと変換するフレームワーク「WordVoice」を提案する。これは、既存システムの粗粒度制御のボトルネックに対処し、精密なスタイル介入と厳格な時間的アライメントを可能にする。

  • チームは、音長、境界、エネルギー、ピッチ、トーンを含む5次元の単語レベル注釈を持つ4.7k時間のバイリンガルデータセット「WordVoice-5A」を構築した。
  • 適応型マルチタスク韻律計画のための明示的な「音響計画」プロセスを記述するため、LLM内にバウンドトークン機構が導入された。
  • 微細な音響変調モジュールは、離散トークンと連続波形の間の解像度のギャップを埋め、単語レベルの属性をアライメントする。

このフレームワークは、競争力のあるゼロショット合成安定性を維持しながら、複数の音響次元に対して分離された制御を実現している。