Um estudo investiga como o design da função de recompensa impacta a qualidade dos modelos de processos empresariais gerados por grandes modelos de linguagem usando aprendizado por reforço. Os pesquisadores treinaram os modelos Llama 3.1 8B e Qwen 2.5 14B sob 48 configurações para otimizar a qualidade sintática, pragmática e semântica.
- RL melhora significativamente a qualidade pragmática e sintática enquanto preserva a fidelidade semântica, reduzindo a variabilidade de saída em mais de seis vezes.
- A ponderação igual de recompensas supera consistentemente a ponderação direcionada, pois enfatizar uma dimensão específica pode colapsar o modelo em modos de baixa qualidade.
As escolhas de design interagem de maneira não trivial com a arquitetura do modelo; por exemplo, penalidades de invidez e efeitos de inicialização SFT diferem entre Llama e Qwen.
Os achados demonstram que a composição da recompensa é um determinante primário dos resultados de otimização, com efeitos comparáveis à decisão de aplicar RL.