Pesquisadores propõem a Destilação Direta On-Policy (Direct-OPD) para transferir o aprendizado por reforço com recompensas verificáveis de um modelo professor menor e mais barato para um modelo alvo maior. Este método trata o log-ratio entre as políticas post-RL e pre-RL do professor como uma recompensa implícita densa para o estudante, evitando a necessidade de modelos de recompensa explícitos ou RL com recompensas esparsas no alvo.
- Direct-OPD compara o professor post-RL com sua própria referência pre-RL para criar um sinal de recompensa implícita denso.
- A abordagem aplica este sinal aos próprios estados on-policy do estudante mais forte sem treinar um modelo de recompensa explícito.
- Permite a composição sequencial de múltiplas mudanças de política e supera o RL direto passo a passo (step-matched).
Esta técnica permite reutilizar os resultados de RL em diferentes escalas de modelos como sinais de recompensa implícita, melhorando significativamente as capacidades de raciocínio em modelos maiores.