독립 연구자가 0부터 270M 파라미터 언어 모델 개발

한 독립 연구자가 2억 7천만 파라미터의 언어 모델을 완전히 처음부터 구축했습니다. 이 프로젝트는 Hugging Face에서 Wiki-SmartBotLM-Instruct라는 이름으로 공개되어 있습니다.

이 모델은 효율성과 로컬 추론을 위해 설계된 커스텀 Transformer 아키텍처를 사용합니다. 주요 기술적 특징으로는 Rotary Positional Embeddings, RMSNorm, SwiGLU 피드포워드 레이어, 그룹화된 쿼리 어텐션, 최적화된 자기회귀 디코더가 포함됩니다.

이 작업은 기존 가중치나 대규모 인프라에 의존하지 않고도 독립적으로 기능하는 대형 언어 모델을 구축할 수 있음을 보여줍니다.