Los investigadores proponen LP-SFT, un objetivo de Ajuste Fino Supervisado con Preservación Local diseñado para proteger la estructura inherente de entropía multimodal de los modelos de lenguaje preentrenados. El método construye un soporte adaptativo de tokens alternativos y aplica una pérdida de preservación localmente normalizada para mantener la estructura relativa mientras la entropía cruzada estándar optimiza el token supervisado.
- El análisis revela que los modelos preentrenados exhiben una estructura regular de entropía multimodal con picos correspondientes a alternativas plausibles.
- LP-SFT protege explícitamente este conocimiento distribucional durante la adaptación, previniendo la distorsión de las estructuras locales de preferencia.
- Los experimentos muestran que LP-SFT mejora el rendimiento general en comparación con SFT básico y bases recientes en configuraciones de dominio mixto y dominio único.
- El enfoque logra el mejor equilibrio entre la precisión pass@1 y el rendimiento pass@k al mitigar la degradación de capacidades.
Este método ayuda a mantener la diversidad accesible por muestreo, abordando la compensación común donde el ajuste fino mejora el comportamiento del dominio objetivo a costa de degradar las capacidades preexistentes.