Les chercheurs proposent LP-SFT, un objectif de Supervised Fine-Tuning préservant localement conçu pour protéger la structure d'entropie multimodale inhérente aux modèles de langage pré-entraînés. La méthode construit un support adaptatif de jetons alternatifs et applique une perte de préservation localement normalisée pour maintenir la structure relative tandis que l'entropie croisée standard optimise le jeton supervisé.
- L'analyse révèle que les modèles pré-entraînés présentent une structure d'entropie multimodale régulière avec des pics correspondant à des alternatives plausibles.
- LP-SFT protège explicitement cette connaissance distributionnelle lors de l'adaptation, empêchant la distorsion des structures de préférence locales.
- Les expériences montrent que LP-SFT améliore les performances globales par rapport au SFT vanilla et aux récents points de référence dans des paramètres mixtes et mono-domaine.
- L'approche atteint le meilleur équilibre entre la précision pass@1 et les performances pass@k en atténuant la dégradation des capacités.
Cette méthode aide à maintenir la diversité accessible par échantillonnage, répondant au compromis courant où le fine-tuning améliore le comportement du domaine cible au détriment des capacités préexistantes.