Pesquisadores identificam um desequilíbrio no comportamento de alavancagem na distilação on-policy de múltiplos professores, onde a distilação generalizada de conhecimento padrão faz com que os modelos chamem ferramentas em excesso apesar da melhoria na recuperação. Para abordar isso, eles propõem o Soft Clamp, um método de calibração de divergência por token que comprime dinamicamente a divergência de Jensen-Shannon extrema em nível de token enquanto preserva gradientes não nulos.
- O Soft Clamp reduz a sobreutilização de chamadas de ferramentas de 13,7% para 9,0% no APIGen-MT em relação ao GKD padrão.
- O método iguala a precisão de decisão da distilação generalizada de conhecimento padrão.
- Nos diagnósticos multi-turno do BFCL, o Soft Clamp reduz loops de chamada de ferramentas e chamadas repetidas entre variantes do GKD.
Esses resultados sugerem que a distilação on-policy de múltiplos professores deve monitorar onde os sinais dos professores atuam em posições locais em nível de token, em vez de depender apenas de métricas de perda agregadas.