MoE, NVMe 오프로딩, 양자화를 사용하여 저사양 하드웨어에서 100B 이상 LLM 실행

한 레딧 사용자는 Intel i7-8750H, 20GB RAM, GTX 1050 Mobile GPU가 탑재된 노트북에서 1000억 파라미터를 초과하는 대규모 언어 모델을 실행하는 것을 시연했습니다. 이 설정은 메모리 매핑 파일(mmap) 접근을 사용하여 Samsung NVMe 드라이브에 모델 파라미터를 오프로딩하는 데 크게 의존합니다.

• 사용자는 CPU가 과부하되지 않도록 엄격하게 Mixture of Experts (MoE) 모델을 사용하며, 밀집 모델은 부적합하다고 간주됩니다.
• 양자화 설정에는 표준 대규모 모델용 Q3_K_M과 200억 이상의 활성 파라미터를 가진 700B 이상 모델용 Q2가 포함됩니다.
• 특정 테스트된 모델에는 1.0~1.8 tok/s를 달성한 Deepseek-V4-Flash (UD-IQ3_XXS) 와 1.5~2.5 tok/s를 달성한 Nemotron-3-Super-120B-A12B (UD-Q3_K_M) 이 포함됩니다.
• 이 워크플로는 리버스 엔지니어링 및 코드 감사와 같은 작업에 배치 스타일 처리를 활용하는 LM Studio를 사용하며, 16K~90K 토큰의 컨텍스트 윈도우를 수용합니다.

이 구성을 통해 국제 결제 옵션이 제한된 지역의 사용자는 클라우드 서비스의 대안으로 강력한 로컬 모델을 활용할 수 있습니다.