Los investigadores presentan CANON (Consensus-ANchored self-distillatiON), un método de entrenamiento sin etiquetas que convierte la señal de consenso al muestrear múltiples soluciones en una supervisión densa a nivel de token. Para cada prompt no etiquetado, el método extrae la respuesta mayoritaria y la usa para condicionar una instantánea congelada del modelo, que luego supervisa al modelo en sus propias rollout en cada token.
- CANON mejora pass@1 hasta 12 puntos en benchmarks matemáticos y científicos.
- Supera al refuerzo sin etiquetas en 6 puntos mientras usa solo una séptima parte del cómputo.
- El método se acerca a los niveles de rendimiento de modelos maestros condicionados en soluciones doradas.
- Entrenado con datos no etiquetados combinados, transfiere a benchmarks retenidos, igualando métodos que usan etiquetas doradas.
Los autores consideran esto importante porque las mejoras no son solo un afilado de la distribución; después del entrenamiento, el modelo resuelve problemas que nunca había resuelto en 32 intentos, y su propia votación mayoritaria se vuelve más precisa.