Direct-OPD destila ganancias de RL débil-a-fuerte para modelos más potentes

Los investigadores proponen la Destilación Directa On-Policy (Direct-OPD) para transferir el aprendizaje por refuerzo con recompensas verificables desde un modelo maestro más pequeño y económico a un modelo objetivo más grande. Este método trata el log-ratio entre las políticas post-RL y pre-RL del maestro como una recompensa implícita densa para el estudiante, evitando la necesidad de modelos de recompensa explícitos o RL con recompensas dispersas en el objetivo.

• Direct-OPD compara al maestro post-RL con su propia referencia pre-RL para crear una señal de recompensa implícita densa.
• El enfoque aplica esta señal a los propios estados on-policy del estudiante más fuerte sin entrenar un modelo de recompensa explícito.
• Permite la composición secuencial de múltiples cambios de política y supera al RL directo paso a paso (step-matched).

Esta técnica permite reutilizar los resultados de RL en diferentes escalas de modelos como señales de recompensa implícitas, mejorando significativamente las capacidades de razonamiento en modelos más grandes.