한 개발자가 GitHub에 8GB에서 128GB까지의 특정 RAM 및 VRAM 계층에 맞는 로컬 대규모 언어 모델(Large Language Models)에 대한 세부 사항을 상세히 설명한 오픈 데이터셋을 게시했습니다. 이 프로젝트는 16GB MacBook이나 NVIDIA RTX 3060과 같은 하드웨어에 대한 모델 호환성을 결정하는 일반적인 어려움을 해결합니다.
데이터셋에는 양자화, 로드 크기 및 Ollama 명령어에 대한 세부 사항이 포함된 62개의 모델이 포함되어 있습니다. Q4_K_M 모델은 파라미터 10억 개당 약 0.6GB의 메모리가 필요하다는 경험 법칙을 제공하며, 시스템 오버헤드를 위해 사용 가능한 RAM의 약 70%로 크기를 조정할 것을 제안합니다. 데이터에는 8GB(~8B 파라미터), 16GB(~14B), 24GB(~27B), 32GB(~35B), 48GB(~47B), 64GB(~70B) 및 128GB(~122B)를 포함하는 계층에 대한 사용 가능한 예산과 최대 파라미터 수가 포함되어 있습니다.
이 데이터셋은 CC BY 라이선스 하에 제공되며 프로그래밍 접근을 위한 JSON API를 갖추고 있어 Apple Silicon 및 소비자용 NVIDIA 하드웨어를 모두 다룹니다. 저자는 오류 수정 또는 누락된 모델 및 양자화 추가를 위해 커뮤니티의 기여를 환영합니다.