研究人员提出了CANON（Consensus-ANchored self-distillatiON），这是一种无标签训练方法，将通过采样多个解决方案获得的共识信号转换为密集的token级监督。对于每个未标记的提示，该方法提取多数答案，并使用它来条件化模型的冻结快照，从而在每个token上监督模型自身的rollout。

  • CANON在数学和科学推理基准上将pass@1提高了多达12分。
  • 它在仅使用七分之一计算量的情况下，比无标签强化学习高出6分。
  • 该方法接近于基于黄金解决方案的条件教师模型的性能水平。
  • 在池化的未标记数据上训练后，它可迁移到保留的基准测试中，与使用黄金标签的方法相匹配。

作者认为这一点很重要，因为改进不仅仅是分布锐化；训练后，模型解决了此前32次尝试中从未解决的问题，其多数投票本身也变得更加准确。