ExpRL introduce un enfoque novedoso de entrenamiento intermedio para LLMs que utiliza datos de preguntas y respuestas escritos por humanos como andamios de recompensa. En lugar de imitar soluciones de referencia, construye rúbricas de calificación específicas para cada problema con el fin de recompensar los pasos intermedios de razonamiento, permitiendo una mejor inicialización para RL con recompensas dispersas y superando a SFT, GRPO con recompensas dispersas y auto-distilación en tareas de razonamiento matemático.