ある研究は、強化学習を用いた大規模言語モデルによるビジネスプロセスモデルの生成品質に、報酬関数の設計がどのように影響するかを調査した。研究者たちは、構文的、語用論的、意味的な品質を最適化するために、48の構成条件下でLlama 3.1 8BおよびQwen 2.5 14Bモデルを訓練した。
- RLは意味忠実度を維持しつつ、語用論的および構文的品質を大幅に改善し、出力の変動性を6倍以上低減する。
- 均等な報酬重み付けは一貫してターゲット指定された重み付けを上回り、特定の次元を強調するとモデルが低品質なモードに収束することがある。
- 設計選択はモデルアーキテクチャと非自明な相互作用を持つ；例えば、無効性ペナルティおよびSFT初期化効果はLlamaとQwenで異なる。
これらの知見は、報酬の構成が最適化結果の主要な決定要因であり、その影響はRL自体を適用するかどうかの決定に匹敵することを示している。