Um estudo investiga o problema de decisão com orçamento fixo para alocar recursos de pós-treinamento por Aprendizado por Reforço (RL), examinando especificamente se deve priorizar políticas maiores, treinamento estendido, mais busca de rollouts ou feedback de recompensa mais forte.
- Os autores introduzem um framework de contabilização de FLOPs para o pós-treinamento GRPO que decompe a computação em rollout/busca, atualização/aprendizado da política e avaliação do modelo de recompensa.
- A análise de políticas Qwen2.5 adaptadas com LoRA revela fronteiras de alocação condicional onde a estratégia ótima depende do tamanho do modelo, orçamento e sistemas de recompensa.
- Políticas maiores consomem mais computação por token, resultando em menos atualizações ou rollouts sob o mesmo orçamento total comparado a modelos menores.
- A arquitetura do sistema de recompensa impacta significativamente a contabilização; recompensas baseadas em regras gastam a maior parte da computação não-atualização em rollouts, enquanto feedback estilo PRM aloca orçamento visível para inferência.
- O artigo propõe o RACE como um protocolo piloto de grade diagnóstica para identificar regimes de alocação antes de execuções de validação caras.
Os autores argumentam que artigos sobre pós-treinamento por RL devem relatar os FLOPs totais junto com a divisão específica da computação entre tamanho do modelo, busca, aprendizado e feedback.