Los autores proponen ShortOPD, un programa de distilación en línea de corto a largo diseñado para recuperar las capacidades generativas de los modelos de lenguaje grandes podados estructuralmente que colapsan durante la generación libre. Al detectar sufijos repetitivos confirmados por el maestro y tratar el prefijo sobreviviente como la longitud efectiva de rollout, el método asigna el presupuesto de entrenamiento de manera más eficiente que los enfoques estándar.

  • ShortOPD eleva las puntuaciones del modelo comprimido a aproximadamente 9 veces su valor no recuperado y 1.6–4.4 veces las de recetas de recuperación estándar como SFT sin KD, KD y SeqKD en tareas de matemáticas, código y generación abierta.
  • El método iguala una ventana de rollout fija de 8192 tokens con dos puntos de diferencia mientras usa solo una cuarta parte del tiempo de entrenamiento (8.5 vs. 35.9 horas) y un 71% menos de tokens de rollout.

Este enfoque tiene como objetivo llevar la poda estructurada más allá de las ganancias marginales en perplexidad y benchmarks de opción múltiple, acercando los modelos comprimidos a una calidad de generación lista para implementación.