Srijan Srivastava는 맞춤형 Silia 아키텍처를 사용하여 1억 1700만 파라미터 모델을 학습했으며, 컴퓨팅 스폰서십을 활용하여 NVIDIA H100 GPU에서 단 5시간 만에 학습을 완료했습니다.
- 이 모델은 회전 위치 임베딩, QK 정규화, 가중치 공유 출력 투영을 특징으로 하는 Silia 아키텍처를 사용합니다.
- 훈련은 synth-100M 데이터셋에서 수행되었으며, 배치 크기 8과 컨텍스트 길이 1024로 약 8200만 토큰을 처리했습니다.
- 저자는 파라미터 수에 비해 제한된 토큰 수와 낮은 학습률로 인해 모델이 심각하게 과소 학습되었다고 지적했으며, 그 결과 잠재적으로 달성할 수 있었을 것보다 더 높은 손실 값을 보였습니다.
- 아키텍처 코드와 추론 스크립트는 GitHub에서 사용할 수 있으며, 연구 논문과 모델 가중치는 Hugging Face와 Zenodo에 호스팅되어 있습니다.
이 릴리스는 추가 실험을 위한 Silia 트랜스포머 변형의 오픈소스 구현을 제공하지만, 저자는 벤치마킹이 아직 수행되지 않았음을 명시적으로 밝힙니다.