Pesquisadores propõem o LP-SFT, um objetivo de Ajuste Fino Supervisionado com Preservação Local projetado para proteger a estrutura inerente de entropia multimodal de modelos de linguagem pré-treinados. O método constrói um suporte adaptativo de tokens alternativos e aplica uma perda de preservação localmente normalizada para manter a estrutura relativa enquanto a entropia cruzada padrão otimiza o token supervisionado.
- A análise revela que modelos pré-treinados exibem uma estrutura regular de entropia multimodal com picos correspondentes a alternativas plausíveis.
- O LP-SFT protege explicitamente esse conhecimento distribucional durante a adaptação, prevenindo a distorção das estruturas locais de preferência.
- Experimentos mostram que o LP-SFT melhora o desempenho geral em comparação com o SFT básico e bases recentes em configurações de domínio misto e domínio único.
- A abordagem alcança o melhor equilíbrio entre precisão pass@1 e desempenho pass@k ao mitigar a degradação de capacidades.
Este método ajuda a manter a diversidade acessível por amostragem, abordando a compensação comum onde o ajuste fino melhora o comportamento do domínio alvo à custa da degradação das capacidades preexistentes.