一项研究调查了奖励函数设计如何影响使用强化学习由大语言模型生成的业务流程模型的质量。研究人员在48种配置下训练了Llama 3.1 8B和Qwen 2.5 14B模型，以优化句法、语用和语义质量。

  • RL显著提高了语用和句法质量，同时保持语义保真度，将输出变异性降低了六倍以上。
  • 相等的奖励权重始终优于定向权重，因为强调特定维度可能导致模型崩溃到低质量模式。

设计选择与模型架构存在非平凡交互；例如，无效性惩罚和SFT初始化效应在Llama和Qwen之间存在差异。

研究结果表明，奖励组成是优化结果的主要决定因素，其影响与应用RL本身的决策相当。