Un estudio investiga el problema de decisión con presupuesto fijo de asignar recursos de post-entrenamiento de Aprendizaje por Refuerzo (RL), examinando específicamente si se debe priorizar políticas más grandes, un entrenamiento extendido, una búsqueda de rollouts mayor o un feedback de recompensa más fuerte.
- Los autores introducen un marco de contabilidad de FLOPs para el post-entrenamiento de GRPO que descompone el cómputo en rollout/búsqueda, actualización/aprendizaje de la política y evaluación del modelo de recompensa.
- El análisis de políticas Qwen2.5 adaptadas con LoRA revela frentes de asignación condicional donde la estrategia óptima depende del tamaño del modelo, el presupuesto y los sistemas de recompensa.
- Las políticas más grandes consumen más cómputo por token, lo que resulta en menos actualizaciones o rollouts bajo el mismo presupuesto total en comparación con modelos más pequeños.
- La arquitectura del sistema de recompensas impacta significativamente la contabilidad; las recompensas basadas en reglas gastan la mayor parte del cómputo no relacionado con actualizaciones en rollouts, mientras que el feedback estilo PRM asigna un presupuesto visible a la inferencia.
- El artículo propone RACE como un protocolo piloto de cuadrícula diagnóstica para identificar regímenes de asignación antes de costosas ejecuciones de validación.
Los autores argumentan que los artículos sobre post-entrenamiento de RL deberían reportar el total de FLOPs junto con la división específica del cómputo entre tamaño del modelo, búsqueda, aprendizaje y feedback.