Um estudo demonstra que a compressão consciente das seções dos rastros de raciocínio auto-distilados permite que os modelos Qwen3.5-4B e Gemma-4-12b igualem ou superem o desempenho original usando significativamente menos tokens. Ao preservar os trechos de computação e verificação enquanto comprime a narração, o método evita as falhas de decodificação gulosa associadas à compressão plana.
- A compressão plana faz com que a decodificação gulosa falhe, entrando em loop em 93% dos problemas do GSM8K na temperatura 0.
- A compressão consciente das seções melhora a precisão em +.15 no GSM8K em comparação ao controle SFT não comprimido, enquanto usa ~1.7x menos tokens.
- Treinar sem um prompt de sistema e servi-lo com ele produz os melhores resultados, pois o prompt atua como um gatilho de eficiência.
- O comportamento da compressão pode ser alternado por meio de um prompt de identidade, permitindo que o modelo alterne entre raciocínio conciso e saída descomprimida.
- Um modelo professor mais forte produziu resultados piores do que o SFT não comprimido, indicando que os rastros devem permanecer próximos à distribuição do aluno.
- A abordagem transfere-se efetivamente para modelos maiores; o Gemma-4-12b alcançou precisão de .86 no GSM8K com 1.679 tokens contra .57 com 3.753 no original.
A pesquisa destaca que preservar os trechos de computação ancora a terminação e melhora a eficiência, com código completo, modelos e conjuntos de dados disponibilizados.