Une étude examine comment la conception de la fonction de récompense impacte la qualité des modèles de processus métier générés par des grands modèles de langage utilisant l'apprentissage par renforcement. Les chercheurs ont entraîné les modèles Llama 3.1 8B et Qwen 2.5 14B sous 48 configurations pour optimiser la qualité syntaxique, pragmatique et sémantique.

  • Le RL améliore significativement la qualité pragmatique et syntaxique tout en préservant la fidélité sémantique, réduisant la variabilité des sorties de plus de six fois.
  • La pondération égale des récompenses surpasse systématiquement la pondération ciblée, car mettre l'accent sur une dimension spécifique peut faire s'effondrer le modèle dans des modes de faible qualité.
  • Les choix de conception interagissent de manière non triviale avec l'architecture du modèle ; par exemple, les pénalités d'invalidité et les effets de l'initialisation SFT diffèrent entre Llama et Qwen.

Les résultats démontrent que la composition de la récompense est un déterminant primaire des résultats d'optimisation, avec des effets comparables à la décision d'appliquer le RL lui-même.