Une étude démontre que la compression segmentée des traces de raisonnement auto-distillées permet aux modèles Qwen3.5-4B et Gemma-4-12b d'égaler ou de dépasser les performances originales en utilisant significativement moins de tokens. En préservant les segments de calcul et de vérification tout en compressant le récit, la méthode évite les échecs du décodage glouton associés à la compression plate.
- La compression plate provoque l'échec du décodage glouton, bouclant sur 93 % des problèmes GSM8K à une température de 0.
- La compression segmentée améliore la précision de +.15 sur GSM8K par rapport au contrôle SFT non compressé tout en utilisant ~1,7x moins de tokens.
- L'entraînement nu sans invite système et le déploiement avec celle-ci donnent les meilleurs résultats, car l'invite agit comme un déclencheur d'efficacité.
- Le comportement de compression peut être activé ou désactivé via une invite d'identité, permettant au modèle de basculer entre un raisonnement concis et une sortie décompressée.
- Un modèle enseignant plus puissant a produit de pires résultats qu'un SFT non compressé, indiquant que les traces doivent rester proches de la distribution de l'étudiant.
- L'approche se transpose efficacement aux modèles plus grands ; Gemma-4-12b a atteint une précision de .86 sur GSM8K avec 1 679 tokens contre .57 avec 3 753 pour l'original.
La recherche met en évidence que la préservation des segments de calcul ancre la terminaison et améliore l'efficacité, le code complet, les modèles et les jeux de données étant mis à disposition.