Les chercheurs démontrent que la distillation d'un professeur de raisonnement de 8 milliards (deepseek-r1:8B) dans un modèle étudiant de 0,6 milliard (Qwen3-0.6B via QLoRA) permet une extraction structurée à haut volume avec une latence et un coût significativement réduits. L'étude évalue cette approche sur la cartographie d'articles de presse en objets JSON contenant des résumés et des étiquettes catégorielles, comparant le modèle distillé aux bases de référence par few-shot prompting et décodage contraint.
- Le modèle étudiant traite chaque article en environ 0,8 seconde, contre 39 secondes pour le professeur, récupérant 58 % de l'écart de performance par rapport au modèle de base.
- Il surpasse le décodage contraint de +16,8 points et le few-shot prompting de +4,9 points en scores de qualité de résumé selon un panel d'experts aveugle à trois juges.
- La capacité de raisonnement du professeur est critique pour la qualité de rédaction, car la distillation depuis un professeur non raisonnant de même taille ne produit aucune amélioration par rapport au modèle de base non ajusté.
- Bien que la lignée de raisonnement améliore la génération de résumés, elle entraîne plus de fabrications sur les articles à sources minces comparé à un professeur basé sur des instructions, qui maintient un meilleur ancrage.
Les résultats suggèrent que, puisqu'aucun moteur unique ne gagne tous les champs, l'approche optimale implique une carte de routage par champ pour l'enrichissement sur l'appareil plutôt que de s'appuyer sur un seul modèle.