研究者らは、複数の解をサンプリングすることから得られるコンセンサス信号を密なトークンレベルの教師信号に変換するラベルなし学習手法であるCANON（Consensus-ANchored self-distillatiON）を発表した。

  • CANONは数学的および科学的推論ベンチマークにおいてpass@1を最大12ポイント向上させる。
  • 計算資源を7分の1しか使用せずに、ラベルなし強化学習を6ポイント上回る。
  • この手法は、ゴールドソルーションで条件付けされた教師モデルの性能水準に迫る。
  • 集約されたラベルなしデータで訓練され、ホールドアウトベンチマークへ転移し、ゴールドラベルを使用する手法と同等の性能を発揮する。

著者らは、この改善が単なる分布のシャープニングではないと考えている。訓練後、モデルは以前32回の試行で一度も解けなかった問題を解くようになり、その多数決自体もより正確になる。