AdaPrefix-GRPO aborda el problema de los gradientes desvanecidos en Group Relative Policy Optimization (GRPO) ajustando dinámicamente la longitud de los prefijos de soluciones correctas que se antepone a los problemas de entrenamiento. Al mantener una tasa de éxito cercana al 50%, el método asegura que la señal del gradiente permanezca fuerte, retirando eventualmente la asistencia para que el modelo desplegado resuelva los problemas sin ayuda.

  • En tareas de matemáticas difíciles con FLOPs de entrenamiento emparejados, AdaPrefix-GRPO más que duplica la precisión de GRPO para un modelo de 0.6B (ganancia de 2.1x).
  • Logra una mejora de 1.6x en Qwen3-1.7B y una mejora de 1.7x en los benchmarks AIME.
  • El enfoque reduce aproximadamente a la mitad la longitud de la traza mientras implementa solo cambios en la preparación de datos y una máscara de pérdida en los tokens del prefijo.

El método es particularmente efectivo para modelos más pequeños, ofreciendo ganancias significativas de precisión sin requerir modificaciones al entrenador subyacente.