Los investigadores identifican un desequilibrio en el comportamiento del apalancamiento en la distilación on-policy de múltiples profesores, donde la distilación generalizada de conocimiento estándar provoca que los modelos llamen excesivamente a las herramientas a pesar de una mejora en la recuperación. Para abordar esto, proponen Soft Clamp, un método de calibración de divergencia por token que comprime dinámicamente la divergencia de Jensen-Shannon extrema a nivel de token mientras preserva gradientes no nulos.
- Soft Clamp reduce la sobreutilización de llamadas a herramientas del 13,7% al 9,0% en APIGen-MT en comparación con GKD estándar.
- El método iguala la precisión de decisión de la distilación generalizada de conocimiento estándar.
- En los diagnósticos multi-turno de BFCL, Soft Clamp reduce los bucles de llamadas a herramientas y las llamadas repetidas entre variantes de GKD.
Estos resultados sugieren que la distilación on-policy de múltiples profesores debería monitorear dónde actúan las señales del profesor en posiciones locales a nivel de token, en lugar de depender únicamente de métricas de pérdida agregadas.