Un estudio investiga cómo el diseño de la función de recompensa impacta la calidad de los modelos de procesos empresariales generados por grandes modelos de lenguaje utilizando aprendizaje por refuerzo. Los investigadores entrenaron los modelos Llama 3.1 8B y Qwen 2.5 14B bajo 48 configuraciones para optimizar la calidad sintáctica, pragmática y semántica.
- RL mejora significativamente la calidad pragmática y sintáctica mientras preserva la fidelidad semántica, reduciendo la variabilidad de salida en más de seis veces.
- La ponderación igual de recompensas supera consistentemente a la ponderación dirigida, ya que enfatizar una dimensión específica puede colapsar el modelo en modos de baja calidad.
Las elecciones de diseño interactúan de manera no trivial con la arquitectura del modelo; por ejemplo, las penalizaciones por invidez y los efectos de inicialización SFT difieren entre Llama y Qwen.
Los hallazgos demuestran que la composición de recompensas es un determinante primario de los resultados de optimización, con efectos comparables a la decisión de aplicar RL.