Os autores propõem o ShortOPD, um cronograma de distilação on-policy de curto para longo projetado para recuperar as capacidades generativas de modelos de linguagem grandes (LLMs) podados estruturalmente que colapsam durante a geração livre-forma. Ao detectar sufixos repetitivos confirmados pelo professor e tratar o prefixo sobrevivente como o comprimento efetivo do rollout, o método aloca o orçamento de treinamento de forma mais eficiente do que as abordagens padrão.
- O ShortOPD eleva as pontuações do modelo comprimido para aproximadamente 9 vezes seu valor não recuperado e 1.6–4.4 vezes as das receitas de recuperação padrão como SFT sem KD, KD e SeqKD em tarefas de matemática, código e geração aberta.
- O método iguala uma janela de rollout fixa de 8192 tokens com dois pontos de diferença enquanto usa apenas um quarto do tempo de treinamento (8.5 vs. 35.9 horas) e 71% menos tokens de rollout.
Esta abordagem visa levar a poda estrutural além dos ganhos marginais em perplexidade e benchmarks de múltipla escolha, aproximando os modelos comprimidos da qualidade de geração pronta para implantação.