학습된 쿼리-키(Q/K) 투영에 대한 FFT 기반 스펙트럴 전처리가 문자 수준 언어 모델링에서 트랜스포머 어텐션을 크게 향상시킨다는 연구 결과가 제시되었습니다.
- TinyShakespeare에서 고정된 랜덤 스펙트럴 필터는 val=1.031을 달성하는 반면, 단락부터 단어 스케일까지 spanning 하는 4개의 학습된 주파수는 val=0.309를 달성하여 표준 내적 어텐션 대비 79% 감소를 나타냅니다.
- 단일 주파수 결과는 세 가지 랜덤 시드에서 확인되었으며, 평균 val은 0.236이고 표준편차는 0.019입니다.
- 네 주파수는 단락, 하위 단락, 구절 및 단어 스케일에 해당하는 거의 기하학적 다중 스케일 순서(49, 27, 10, 6 토큰/사이클)로 수렴합니다.
- 이 향상은 스펙트럴 전처리에 국한되며, 랜덤 직교 및 비직교 투영은 측정 가능한 향상을 가져오지 않습니다.
- 인과 필터는 양방향 FFT 커널이 구조적으로 비인과적이기 때문에 문자 수준 토큰화에서 표준 어텐션보다 향상되지 않습니다.
본 연구는 쌍방향 스펙트럴 어텐션과 진정으로 인과적인 스펙트럴 어텐션 사이의 아키텍처적 경계를 정의하며, 이는 어텐션을 토큰 임베딩의 푸리에 혼합으로 대체하는 FNet과 구별됩니다.