새로운 연구는 회전 위치 임베딩(RoPE) 주파수가 균일하게 사용되는 것이 아니라 학습 데이터의 상대적 거리 구조에 맞게 모델에 의해 선택된다고 제안합니다. 저자들은 필드 해상도 트레이드오프를 공식화하여 최적 주파수 스케일이 데이터 유도 의존성 프로파일의 너비에 반비례함을 보여줍니다.
- 너비 W의 의존성 프로파일의 경우, 최적 RoPE 주파수는 1/W로 스케일링됩니다.
- 언어 모델의 중저주파 대역은 자연어의 다중 스케일 의존성 구조에서 비롯됩니다.
- 주파수를 낮추면 유효 필드는 확장되지만 해상도는 감소하며, 긴 문맥 의존성이 학습 의존성의 근사적 신장인 경우 일반화에 도움이 됩니다.
- 자연어는 위치 스케일 전반에 걸쳐 근사적 자기유사성을 보여주며, 이는 테스트 시간 주파수 스케일링이 긴 문맥 일반화를 지원하는 이유를 설명합니다.
이 결과는 출현한 RoPE 사용 뒤의 데이터 기반 메커니즘을 규명하고, 긴 문맥 일반화가 학습된 주파수와 의존성이 더 긴 문맥으로 확장되는 방식 간의 스케일 매칭에 달려 있음을 보여줍니다.