한 레딧 사용자는 BigScience의 Bloom과의 경험을 통해 로컬 대규모 언어 모델의 상당한 진전을 되돌아보고 있습니다. 그들은 스왑을 사용하여 전체 모델을 실행하기 위해 768GB Optane 드라이브를 구매했으며, 단일 토큰 생성에 약 20분이 걸렸다고 기억합니다.

게시물은 이러한 초기 모델의 참조점으로서 Hugging Face의 BLOOMZ-P3 체크포인트로 연결됩니다.

저자는 로컬 추론 능력에서 이루어진 진전을 다시 평가하기 위해 이 이전 모델들을 다시 다루고자 합니다.