연구자들은 사전 학습된 언어 모델의 내재적인 멀티모달 엔트로피 구조를 보호하도록 설계된 국소 보존형 지도 파인튜닝(LP-SFT) 목적 함수를 제안했습니다. 이 방법은 대체 토큰의 적응형 서포트를 구성하고, 표준 교차 엔트로피가 지도된 토큰을 최적화하는 동안 국소 정규화된 보존 손실을 적용하여 상대적 구조를 유지합니다.

  • 분석 결과, 사전 학습된 모델은 타당한 대안에 해당하는 피크를 가진 규칙적인 멀티모달 엔트로피 구조를 나타내는 것으로 드러났습니다.
  • LP-SFT는 적응 과정에서 이 분포적 지식을 명시적으로 보호하여 국소 선호 구조의 왜곡을 방지합니다.
  • 실험 결과, LP-SFT는 혼합 도메인 및 단일 도메인 설정에서 바닐라 SFT 및 최근 베이스라인보다 전반적인 성능을 향상시키는 것으로 나타났습니다.
  • 이 접근 방식은 능력 저하를 완화함으로써 pass@1 정확도와 pass@k 성능 사이의 최적의 균형을 달성합니다.

이 방법은 파인튜닝이 기존 능력을 저하시키는 대신 타겟 도메인 동작을 개선하는 일반적인 트레이드오프에 대응하여 샘플링으로 접근 가능한 다양성을 유지하는 데 도움이 됩니다.