연구자들은 대규모 언어 모델에서 긴 컨텍스트 처리를 가능하게 하면서 일정한 메모리 스케일링과 향상된 효율성을 달성하기 위해 연관 재귀 메모리 트랜스포머(ARMT)를 제안합니다.

  • 이 작업은 현실적인 좁은 도메인 파인튜닝 시나리오를 평가하기 위한 두 가지 도메인 특화 긴 컨텍스트 데이터셋을 소개합니다.
  • 계속 사전 훈련, 합성 데이터 생성, 커리큘럼 학습, 그리고 연관 메모리를 특정 모델 레이어에 선택적으로 통합하는 것을 결합한 포괄적인 훈련 레시피가 제공됩니다.
  • ARMT로 증강된 모델은 원래 컨텍스트 제한을 훨씬 초과하는 입력을 처리하면서도 제한 내 베이스라인과 비교하여 성능이 저하되지 않습니다.
  • 이 접근 방식은 분포 밖 컨텍스트 길이에 대해 더 효과적으로 일반화됩니다.
  • 모델은 원래 컨텍스트 윈도우 내에서 베이스라인 성능을 유지하면서 FLOPs를 30% 줄입니다.

이 방법은 LLM이 더 긴 입력을 효율적으로 처리할 수 있게 하여 표준 트랜스포머의 이차 계산량과 선형 메모리 스케일링 제약에 대응합니다.