研究により、自己蒸留された推論トレースのセクション対応圧縮により、Qwen3.5-4BおよびGemma-4-12bモデルが大幅に少ないトークン数で元の性能と同等以上の結果を出すことが示された。叙述部分を圧縮しつつ計算と検証の区間を保持することで、この手法はフラットな圧縮に伴う貪欲デコーディングの失敗を回避する。

  • フラットな圧縮は貪欲デコーディングを失敗させ、温度0でGSM8Kの問題の93%でループする。
  • セクション対応圧縮は、 uncompressed SFT制御と比較してGSM8Kで+.15の精度向上をもたらし、~1.7倍少ないトークン数で使用している。
  • システムプロンプトなしで学習し、システムプロンプトありで推論すると最良の結果が得られる。プロンプトは効率化のトリガーとして機能する。
  • 圧縮動作はアイデンティティプロンプトを通じて切り替え可能であり、モデルは簡潔な推論と展開された出力の間を切り替えられる。
  • より強力な教師モデルはuncompressed SFTよりも悪い結果を生み出し、トレースは学生の分布に近づける必要があることを示している。
  • このアプローチはより大きなモデルにも効果的に転移する。Gemma-4-12bはGSM8Kで1,679トークンで.86の精度を達成したのに対し、元のモデルは3,753トークンで.57であった。

本研究は、計算区間を保持することが終了を固定し効率を改善することを強調しており、完全なコード、モデル、データセットが公開されている。