Un estudio controlado de 18 ejecuciones en modelos de lenguaje y visión-lenguaje de escala 4B y 8B encuentra que la Optimización Relativa del Grupo de Políticas (GRPO) no mejora creíblemente las tasas de éxito sobre una base supervisada fuerte en tareas dominadas. Las tasas de aprendizaje moderadas a altas empeoran el rendimiento, mientras que el método solo ayuda cuando la política muestreada ya tiene más éxito que la codiciosa.

  • Ninguna configuración mejoró las tasas de éxito a través de variaciones en la tasa de aprendizaje, peso KL, semilla, inicialización y recorte.
  • El resultado nulo se mantiene bajo pruebas emparejadas con 25 semillas de evaluación y 6 semillas de entrenamiento.
  • GRPO aumenta el éxito en 22 puntos en tareas donde la recompensa es alcanzable mediante muestreo.
  • Las tasas de aprendizaje intermedias degradan los bloques de atención y MLP, mientras que las altas causan colapso sin localización grupal rastreable.
  • En 4B, el rango efectivo en capas tardías sigue la capacidad; en 8B, este acoplamiento desaparece.

El fallo indica que GRPO es ineficaz para agentes que ya han dominado la tarea, ya que principalmente remodela el comportamiento existente en lugar de agregar nueva habilidad.