개발자가 vLLM-Moet를 사용하여 단일 RTX 6000 Pro에서 DeepSeek V4 Flash 실행

한 개발자가 vLLM-Moet라는 커스터마이즈된 버전의 vLLM을 활용하여 단일 NVIDIA RTX 6000 Pro GPU에서 DeepSeek V4 Flash 모델을 성공적으로 실행했습니다. 이 성과는 대규모 언어 모델을 소비자용 하드웨어의 제한된 VRAM에 맞게 만드는 특정 압축 기술을 통해 가능해졌습니다.

• 이 방법은 라우팅된 전문가를 2비트로 압축하면서 fp4 전문가를 유지하여, 모델이 단일 GPU에 완전히 로드되도록 합니다.
• 초기 로딩에는 safetensor 샤딩 처리 후 VRAM으로 이동하기 전에 약 150 GB의 RAM 또는 확장 스왑 공간이 필요합니다.
• RTX 6000 Pro에서의 벤치마크는 컨텍스트 길이에 따라 초당 약 100~134개의 토큰 생성 속도를 보여줍니다.
• 이 기술은 GLM 5.2도 지원한다고 보고되었지만, 해당 구성에는 최소 두 개의 RTX 6000 Pro GPU가 필요합니다.

이 성과는 DeepSeek V4 Flash와 같은 고성능 모델이 전용 엔진 수정 및 전문가 압축을 통해 단일 소비자용 GPU에서 접근 가능함을 보여줍니다.