Los autores proponen AdaPrefix-GRPO, un método que ajusta dinámicamente la longitud de un prefijo de solución correcto durante el entrenamiento de Group Relative Policy Optimization (GRPO). Al tratar la longitud del prefijo como una perilla controlada por retroalimentación, el sistema mantiene una tasa de éxito cerca del 50% para maximizar la señal del gradiente antes de retirar completamente la asistencia.
- El enfoque evita que GRPO se estanque en problemas difíciles donde las ventajas relativas al grupo desaparecen debido a éxitos cero.
- Aumenta la precisión en más de 2x para un modelo de 0.6B y 1.6x para Qwen3-1.7B en benchmarks de matemáticas difíciles con FLOPs de entrenamiento coincidentes.
- El método reduce aproximadamente a la mitad la longitud del rastro mientras requiere solo cambios en la preparación de datos y una máscara de pérdida en los tokens del prefijo.
Esta técnica permite que los modelos aprendan más efectivamente de ejemplos de vanguardia al asegurar que la dificultad se ajuste continuamente para coincidir con la capacidad actual del modelo.