Les chercheurs ont identifié un déséquilibre comportemental dans la distillation on-policy multi-enseignants où la distillation généralisée de connaissances standard (vanilla) amène les modèles à sur-appeler des outils malgré une amélioration du recall. Pour remédier à cela, ils proposent le Soft Clamp, une méthode de calibration de divergence par token qui compresse dynamiquement la divergence Jensen-Shannon extrême au niveau du token tout en préservant des gradients non nuls.
- Le Soft Clamp réduit les sur-appels d'outils de 13,7 % à 9,0 % sur APIGen-MT par rapport au GKD standard.
- La méthode correspond à la précision de décision de la distillation généralisée de connaissances standard.
- Dans les diagnostics multi-tours BFCL, le Soft Clamp réduit les boucles d'appels d'outils et les appels répétés parmi les variantes GKD.
Ces résultats suggèrent que la distillation on-policy multi-enseignants devrait surveiller où les signaux des enseignants agissent aux positions locales au niveau du token plutôt que de s'appuyer uniquement sur des métriques de perte agrégées.