Un estudio demuestra que la compresión consciente de secciones de las trazas de razonamiento auto-destiladas permite que los modelos Qwen3.5-4B y Gemma-4-12b igualen o superen el rendimiento original utilizando significativamente menos tokens. Al preservar los intervalos de cómputo y verificación mientras se comprime la narración, el método evita los fallos de decodificación voraz asociados con la compresión plana.
- La compresión plana provoca que la decodificación voraz falle, bucleando en el 93% de los problemas de GSM8K a temperatura 0.
- La compresión consciente de secciones mejora la precisión en +.15 en GSM8K en comparación con el control SFT sin comprimir mientras usa ~1.7x menos tokens.
- Entrenar sin un prompt del sistema y servirlo con él produce los mejores resultados, ya que el prompt actúa como un disparador de eficiencia.
- El comportamiento de compresión puede activarse o desactivarse mediante un prompt de identidad, permitiendo que el modelo cambie entre razonamiento conciso y salida descomprimida.
- Un modelo maestro más fuerte produjo peores resultados que SFT sin comprimir, indicando que las trazas deben permanecer cerca de la distribución del estudiante.
- El enfoque se transfiere eficazmente a modelos más grandes; Gemma-4-12b logró .86 de precisión en GSM8K con 1,679 tokens frente a .57 con 3,753 para el original.
La investigación destaca que preservar los intervalos de cómputo ancla la terminación y mejora la eficiencia, con todo el código, modelos y conjuntos de datos disponibles.