Pesquisadores apresentam o CANON (Consensus-ANchored self-distillatiON), um método de treinamento sem rótulos que converte o sinal de consenso ao amostrar múltiplas soluções em supervisão densa por token. Para cada prompt não rotulado, o método extrai a resposta majoritária e a usa para condicionar uma snapshot congelada do modelo, que então supervisiona o modelo em seus próprios rollouts em cada token.
- O CANON melhora o pass@1 em até 12 pontos em benchmarks matemáticos e científicos.
- Ele supera o reforço sem rótulos em 6 pontos enquanto usa apenas um sétimo do compute.
- O método se aproxima dos níveis de desempenho de modelos professores condicionados em soluções gold.
- Treinado em dados não rotulados agrupados, ele transfere para benchmarks retidos, igualando métodos que usam rótulos gold.
Os autores consideram isso importante porque as melhorias não são apenas um afiamento da distribuição; após o treinamento, o modelo resolve problemas que nunca havia resolvido em 32 tentativas, e sua própria votação majoritária se torna mais precisa.