한 연구자가 키-값(KV) 캐시의 필요성을 제거하여 O(1) 추론 시간을 달성하는 새로운 대규모 언어 모델 아키텍처인 Qllm을 출시했습니다. 100M 파라미터 모델을 위상 결합성(phase associativity) 기반으로 구축되었으며, 트랜스포머나 mamba 구조에 의존하지 않습니다.

  • 이 모델은 시퀀스 길이에 관계없이 상수 시간 추론을 가능하게 하기 위해 위상 결합성을 기반으로 하는 새로운 아키텍처를 사용합니다.
  • 문법 학습을 위한 초기 1B 토큰 사전 훈련을 포함하여 DCLM, Fineweb, Smoltalk2 데이터셋의 4B 토큰으로 훈련되었습니다.
  • 프로젝트에는 qllm-pam-v11-e3k3-chat 변형 모델의 오픈 소스 코드와 Hugging Face 체크포인트가 포함되어 있습니다.

저자들은 이 아키텍처가 그 설계로 인해 음성 모델에서 특히 잘 작동할 것이라고 가정하지만, 현재는 개념 증명으로 위치되어 있습니다.