한 명의 개인 연구자가 표준 O(N²) 도트 곱 어텐션을 FFT 파수렴으로 대체하는 새로운 기본 완성 모델 아키텍처인 Wave Field LLM을 소개했습니다. 이 접근 방식은 컨텍스트 길이에 관계없이 추론 중 일정한 속도와 메모리 사용량을 가능하게 하여, 일반적으로 메모리가 부족해지는 128K 컨텍스트 윈도우를 지원합니다.

  • 학습 복잡도는 O(N log N)로 감소하며, 추론은 토큰당 O(1)을 달성합니다.
  • 모델 계열은 130M에서 1.5B 파라미터 범위에 있으며, RLHF나 지시 미세 조정 없이 처음부터 학습되었습니다.
  • Mac 노트북 CPU에서 GPU 없이도 초당 80개 이상의 토큰 속도를 달성합니다.
  • H100에서의 벤치마크는 32K 컨텍스트에서 표준 어텐션보다 21.8배 빠르고 메모리 사용량이 5.3배 적음을 보여줍니다.
  • DCLM CORE에서의 제로샷 평가에서 130M 모델은 GPT-2 124M을 능가하여 평균 점수 46.8% 대 26.5%, PIQA(61.7% 대 50.0%) 및 ARC Easy(43.8% 대 25.0%)에서 상당한 향상을 보였습니다.

저자는 벤치마크 방법론에 대한 독립적인 테스트와 피드백, 다른 약 130M 기본 모델과의 품질 비교, 유해 출력과 같은 잠재적 문제점에 대한 의견을 구하고 있습니다.