Para peneliti menyajikan CANON (Consensus-ANchored self-distillatiON), metode pelatihan bebas label yang mengonversi sinyal konsensus dari pengambilan sampel beberapa solusi menjadi pengawasan padat pada tingkat token. Untuk setiap prompt tanpa label, metode ini mengekstrak jawaban mayoritas dan menggunakannya untuk mengkondisikan snapshot model yang dibekukan, yang kemudian mengawasi model pada rollouts-nya sendiri di setiap token.
- CANON meningkatkan pass@1 hingga 12 poin pada benchmark penalaran matematis dan ilmiah.
- Metode ini melampaui penguatan pembelajaran tanpa label sebesar 6 poin sambil menggunakan hanya seper tujuh dari komputasi.
- Metode ini mendekati tingkat kinerja model guru yang dikondisikan dengan solusi emas.
- Dilatih pada data tak berlabel yang digabungkan, metode ini mentransfer ke benchmark yang diisolasi, menyamai metode yang menggunakan label emas.
Para penulis menganggap hal ini penting karena peningkatan tersebut bukan sekadar mempertajam distribusi; setelah pelatihan, model memecahkan masalah yang sebelumnya tidak pernah diselesaikan dalam 32 percobaan, dan suara mayoritasnya sendiri menjadi lebih akurat.