AbstractPhil은 각 어텐션 블록에서 "splat memory"를 사용하는 3억 7600만 파라미터 바이트 레벨 언어 모델인 Beatrix V3를 출시했습니다. 이 모델은 256의 어휘와 4,096바이트의 컨텍스트 윈도우를 가지며, 두 개의 RTX 5090 카드에서 644억 바이트로 학습되었습니다.
- 아키텍처는 손실 급증 없이 보유된 웹 텍스트에서 바이트당 0.9861비트를 달성합니다.
- 특정 커리큘럼 단계를 처리하기 위해 각 블록 뒤에 분리 가능한 1370만 파라미터 어댑터가 포함되어 있습니다.
- 모델은 강력한 텍스트 인코딩 능력을 보여주며, 중간 블록에서 T5 성능과 맞먹습니다.
- splat memory는 softmax 제어와 비교하여 장거리 기억에서 한계를 보이며, 하이브리드 접근 방식에 대한 계획을 촉진합니다.
출시에는 모델 가중치와 기술 문서가 포함되어 있으며, 하이브리드 어텐션 메커니즘 및 망각 메모리 모듈과 같은 아키텍처 개선에 대한 피드백을 환영합니다.