Les chercheurs présentent CANON (Consensus-ANchored self-distillatiON), une méthode d'entraînement sans étiquette qui convertit le signal de consensus issu de l'échantillonnage de plusieurs solutions en une supervision dense au niveau des tokens. Pour chaque invite non étiquetée, la méthode extrait la réponse majoritaire et l'utilise pour conditionner un instantané figé du modèle, qui supervise ensuite le modèle sur ses propres rollouts à chaque token.
- CANON améliore le pass@1 de jusqu'à 12 points sur les benchmarks de raisonnement mathématique et scientifique.
- Il surpasse le renforcement sans étiquette de 6 points tout en utilisant seulement un septième du calcul.
- La méthode approche les niveaux de performance des modèles enseignants conditionnés par des solutions dorées.
- Entraîné sur des données non étiquetées regroupées, il se transfère vers des benchmarks hors jeu, égalant les méthodes qui utilisent des étiquettes dorées.
Les auteurs considèrent cela important car les améliorations ne sont pas simplement un affinage de la distribution ; après l'entraînement, le modèle résout des problèmes qu'il n'avait jamais résolus en 32 tentatives, et son vote majoritaire devient lui-même plus précis.