研究者らは、マルチティーチャーオンポリシー蒸留において、標準的な一般化知識蒸留が recall の改善にもかかわらずモデルがツールを過剰に呼び出すという動作のアンバランスを特定した。これに対処するため、彼らは Soft Clamp を提案した。これは極端なトークンレベルの Jensen-Shannon 発散を動的に圧縮しつつ、ゼロでない勾配を保持するトークンごとの発散キャリブレーション手法である。

  • Soft Clamp は APIGen-MT において標準 GKD と比較し、ツール呼び出しの過剰さを 13.7% から 9.0% に低減する。
  • この手法は標準的な一般化知識蒸留の判断精度と同等である。
  • BFCL マルチターン診断において、Soft Clamp は GKD 変種間のツール呼び出しループと繰り返し呼び出しを低減する。

これらの結果は、マルチティーチャーオンポリシー蒸留が集約された損失指標に依存するだけでなく、教師信号が局所的なトークンレベルの位置でどのように作用するかを監視すべきであることを示唆している。