Исследователи предлагают LP-SFT, цель локально-сохраняющего контролируемого дообучения (Local-Preserving Supervised Fine-Tuning), предназначенную для защиты внутренней структуры мультимодальной энтропии предварительно обученных языковых моделей. Метод строит адаптивную поддержку альтернативных токенов и применяет локально нормализованную функцию потерь сохранения для поддержания относительной структуры, в то время как стандартная перекрестная энтропия оптимизирует контролируемый токен.

  • Анализ показывает, что предварительно обученные модели демонстрируют регулярную структуру мультимодальной энтропии с пиками, соответствующими правдоподобным альтернативам.
  • LP-SFT явно защищает это распределительное знание во время адаптации, предотвращая искажение локальных структур предпочтений.
  • Эксперименты показывают, что LP-SFT улучшает общие показатели по сравнению с базовым SFT и недавними базовыми вариантами в смешанных доменах и в рамках одного домена.
  • Подход достигает наилучшего баланса между точностью pass@1 и производительностью pass@k за счет смягчения деградации возможностей.

Этот метод помогает поддерживать разнообразие, доступное при сэмплировании, решая распространенную проблему компромисса, при которой тонкая настройка улучшает поведение в целевом домене ценой ухудшения существующих возможностей.