研究者らは、事前学習済み言語モデルの内在的なマルチモーダルエントロピー構造を保護するために設計された、局所保存型教師ありファインチューニング（LP-SFT）目的関数を提案した。この手法は代替トークンの適応的サポートを構築し、標準的な交差エントロピーが教師ありトークンを最適化する一方で、局所正規化された保持損失を適用して相対構造を維持する。

  • 分析により、事前学習済みモデルは妥当な代替に対応するピークを持つ規則的なマルチモーダルエントロピー構造を示すことが明らかになった。
  • LP-SFTは適応中にこの分布的知識を明示的に保護し、局所嗜好構造の歪みを防止する。
  • 実験により、LP-SFTは混合ドメインおよび単一ドメインの設定において、バニラSFTや最近のベースラインと比較して全体的なパフォーマンスを向上させることが示された。
  • このアプローチは、能力劣化を緩和することで、pass@1精度とpass@kパフォーマンスの間の最適なバランスを実現する。

この手法は、ファインチューニングが既存の能力を劣化させる代わりにターゲットドメインの動作を改善するという一般的なトレードオフに対処し、サンプリングによるアクセス可能な多様性を維持するのに役立つ。