TimeCapsuleLLM: 1800년대 영어 텍스트로 5억 파라미터 모델 학습

한 개발자가 1800년부터 1875년까지 영국과 미국에서 수집된 400억 토큰을 포함하는 160GB 데이터셋을 완성했습니다. 저자는 이 컬렉션에서 50억 토큰 샘플을 사용하여 5억 파라미터 평가 모델을 학습했습니다.

• 데이터셋은 19세기, 구체적으로 1800년부터 1875년까지의 텍스트를 다룹니다.
• 전체 데이터셋을 사용하여 향후 더 작은 20억 파라미터 모델을 학습할 계획입니다.
• 현재 평가 모델은 소스 자료에서 파생된 합성 질문과 답변으로 파인튜닝되었습니다.
• 이 프로젝트에는 TimeCapsuleLLM이라는 이름의 GitHub 저장소와 Hugging Face 모델 카드가 포함되어 있습니다.

저자는 결과가 유망하다고 언급하지만, 현재 모델은 런던 특정 콘텐츠에 대해 더 나은 성능을 보이며 정확성을 위한 추가 정제가 필요합니다.