노아 데앙젤리스는 RoutingGPT라는 이름의 PyTorch 프로젝트에 구현된 GPT 모델을 위한 실험적 라우팅 기반 어텐션 메커니즘을 개발했습니다. 이 접근 방식은 학습된 선형 레이어를 사용하여 토큰의 하위 집합을 키와 값으로 선택하고 모든 토큰을 쿼리로 유지합니다.

  • 기본 25% 라우팅 비율로 밀집 어텐션의 T × T에서 복잡도가 T × 0.25T로 줄어듭니다.
  • 목표는 어텐션 계산을 줄이고 저가형 하드웨어에서 더 긴 컨텍스트 길이를 가능하게 하는 것입니다.
  • 이 프로젝트는 Apache 2.0 라이선스 하에 출시되었으며 현재 엄격한 벤치마킹 없이 실험적 단계입니다.