Les chercheurs proposent la Distillation Directe sur Politique (Direct-OPD) pour transférer l'apprentissage par renforcement avec récompenses vérifiables d'un modèle professeur plus petit et moins cher vers un modèle cible plus grand. Cette méthode traite le rapport logarithmique entre les politiques du professeur avant et après le RL comme une récompense implicite dense pour l'élève, évitant ainsi le besoin de modèles de récompense explicites ou de RL à récompenses rares sur la cible.
- Direct-OPD compare le professeur post-RL avec sa propre référence pré-RL pour créer un signal de récompense implicite dense.
- L'approche applique ce signal aux états on-policy du student plus fort sans entraîner de modèle de récompense explicite.
- Elle permet la composition séquentielle de plusieurs changements de politique et surpasse le RL direct apparié par étape.
Cette technique permet de réutiliser les résultats du RL à travers les échelles de modèles en tant que signaux de récompense implicites, améliorant considérablement les capacités de raisonnement des modèles plus grands.