LP-SFT 保留多模态熵结构以减轻微调期间的能力退化

研究人员提出了 LP-SFT，一种局部保持监督微调目标，旨在保护预训练语言模型固有的多模态熵结构。该方法构建替代标记的自适应支持，并应用局部归一化保存损失来维持相对结构，同时标准交叉熵优化监督标记。

• 分析显示，预训练模型表现出规则的多模态熵结构，峰值对应于合理的替代方案。
• LP-SFT 在适应过程中明确保护这种分布知识，防止局部偏好结构的扭曲。
• 实验表明，LP-SFT 在混合域和单域设置中，整体性能优于原始 SFT 和最近的基线方法。
• 该方法通过减轻能力退化，在 pass@1 准确性和 pass@k 性能之间实现了最佳平衡。

此方法有助于保持采样可访问的多样性，解决微调以牺牲现有能力为代价改善目标域行为的常见权衡问题。