OLMo-core의 아블레이션 연구는 표준 Transformer에 Engram을 통합하는 것과 3개 GDN 레이어 + 1개 어텐션 레이어 하이브리드 백본에 통합하는 것을 비교했습니다. 분석 결과, 부호 오버플로우와 패딩된 토큰 ID 인덱싱 실패를 수정함으로써 두 아키텍처 간의 성능 격차가 크게 축소되었습니다.
- Transformer + Engram은 하이브리드보다 약간 낮은 교차 엔트로피 손실과 퍼플렉시티를 달성했습니다.
- 하이브리드는 초당 더 많은 토큰을 처리했지만, 모델 차원에 대한 컴파일러 제약으로 인해 그라디언트가 불안정하고 MFU가 낮았습니다.
- 인덱싱 실패 수정 및 정적 텐서를 등록된 버퍼로 이동시켜 두 백본 모두에서 손실이 감소했습니다.
- 하이브리드에서 CUDA 할당 재시도가 증가했음에도 GPU 메모리는 두 실행 모두에서 평탄하게 유지되었습니다.
이 결과는 초기 성능 차이가 본질적인 아키텍처적 우위보다는 실행 결과물 때문이었음을 나타내며, 연구에서 처리량과 컴파일러 호환성 같은 엔지니어링 제약의 중요성을 강조합니다.