研究者らは、Group Relative Policy Optimization (GRPO) が、合成テキスト音声データのみを使用してLLMベースの自動音声認識モデルを規制ドメインに適応させる際、教師ありファインチューニング (SFT) を大幅に上回ることを実証した。このアプローチは、合成録音と実際の録音間の音響ミスマッチに対処し、実際の音声収集に関連するプライバシー制約を回避する。

  • GRPOによる合成のみの適応は、SFTと比較してWord Error Rate (WER) を40%削減し、36.71%から22.09%に低下させた。
  • SFTとGRPOを組み合わせるとパフォーマンスがさらに向上し、WERが45%削減された。
  • この改善は表現のシフトではなく行動の変化によるもので、特に注意機構アンカリングを通じてより良い停止キャリブレーションと音声からテキストへの整列が含まれる。
  • 早期層の表現は維持されながら、挿入エラーが減少する。

著者らは、モデル適応のための主要なリソースとして合成音声が使用される場合、教師ありファインチューニングよりもGRPOのような強化学習手法を優先すべきだと結論づけている。