연구자가 밀집 글로벌 자기 주의 대신 블록 단위 연산을 사용하는 장문맥 언어 모델링을 위한 새로운 아키텍처인 BCMT를 소개했습니다. 이 모델은 국소적 인과 주의, 적응형 문맥 요약 및 인과 메모리 전파를 결합하여 장기 의존성을 효율적으로 포착합니다.
- 고정된 블록 크기에 대해 계산 복잡도가 O(T²)에서 O(TL)로 감소합니다.
- 구현에는 전체 아키텍처, H-only ablation 및 표준 Transformer 기본값이 포함됩니다.
- WikiText-103에 대한 실험 결과 높은 처리량과 낮은 GPU 메모리 사용량으로 밀집 Transformer와 유사한 검증 퍼플렉시티를 보였습니다.
본 프로젝트는 오픈 소스이며 커뮤니티 검토를 위해 PyTorch 코드 및 학습 스크립트를 제공합니다.