ResonatorLM은 인과 공명 필드 혼합으로 어텐션을 대체하여 효율적인 긴 컨텍스트 모델링 구현

연구자들은 자기 어텐션을 구동된 1차원 잠재장으로 토큰 시퀀스를 처리하는 물리학 기반 대안으로 교체하는 새로운 메커니즘인 ResonatorLM을 소개했다. 이 접근 방식은 감쇠 공명기의 인과 함수를 사용하여 긴 컨텍스트 처리 효율성을 개선한다.

작은 6M 파라미터 설정에서 모델은 32K 토큰에서 최적화된 트랜스포머 대비 6.47배의 디코드 속도 향상을 달성했다. 또한 WikiText에서 61.31퍼센트의 정확도를 달성하여 기준선의 55.32퍼센트를 능가했다.

ResonatorLM은 시퀀스 길이가 증가함에 따라 어텐션을 공명 필드 혼합으로 대체함으로써 훈련과 프리필 속도 향상을 크게 높이며 경쟁력 있는 정확도를 유지할 수 있음을 보여준다.