저자들은 작업 커버리지와 충실성의 한계를 해결하는 장기 컨텍스트 지도 학습 파인튜닝 데이터를 합성하기 위한 구조화된 프레임워크인 LongCrafter를 제안합니다. 이는 32개 작업 유형의 계층적 분류 체계와 발견된 증거 범위에 엄격히 근거한 지시-응답 쌍을 생성하기 위한 증거 기반 파이프라인을 결합합니다.

  • LongCrafter 데이터로 파인튜닝된 모델은 Qwen2.5-7B 및 LLaMA-3.1-8B에서 LongBench, LongBench v2, LooGLE의 모든 SFT 베이스라인과 공식 사후 훈련 모델보다 우수합니다.
  • 이 접근법은 높은 난이도 작업에서 가장 큰 개선을 가져오며, 더 다양하고 난이도 수준 전반에 걸쳐 잘 분포된 데이터를 생성합니다.
  • 훈련된 모델은 위치에 관계없이 증거를 강건하게 찾아내어 '중간에서 잃어버리는' 문제를 효과적으로 완화합니다.

LongCrafter는 제어 가능한 난이도와 충실하며 추적 가능한 추론을 보장하여 대규모 언어 모델의 장기 컨텍스트 이해를 향상시키는 확장 가능한 방법을 제공합니다.