Исследователи выявили дисбаланс поведения при использовании рычага в многоучительной он-лайн дистилляции, где обычная обобщённая дистилляция знаний приводит к тому, что модели чрезмерно вызывают инструменты, несмотря на улучшение показателя полноты (recall). Для решения этой проблемы они предлагают Soft Clamp — метод калибровки расхождения на уровне токенов, который динамически сжимает экстремальные значения дивергенции Дженсена-Шеннона на уровне отдельных токенов, сохраняя при этом ненулевые градиенты.

  • Soft Clamp снижает частоту чрезмерных вызовов инструментов с 13,7% до 9,0% на наборе данных APIGen-MT по сравнению с обычной GKD.
  • Метод соответствует точности принятия решений обычной обобщённой дистилляции знаний.
  • В диагностике BFCL для многошаговых диалогов Soft Clamp снижает количество циклов вызовов инструментов и повторных вызовов среди вариантов GKD.

Эти результаты указывают на то, что в многоучительной он-лайн дистилляции следует отслеживать, где сигналы учителей действуют на уровне локальных позиций токенов, а не полагаться исключительно на агрегированные метрики потерь.