중고 P102-100 GPU 2개로 Qwen3.6-35B를 $100에 실행하기

본 기사는 합계 약 $100에 구매할 수 있는 NVIDIA P102-100 그래픽 카드 2개를 사용하여 Qwen3.6-35B-A3B 모델을 실행하는 방법을 보여줍니다. 이 구성은 20GB의 VRAM과 448GB/s의 메모리 대역폭을 제공합니다.

• 최대 3명의 동시 사용자를 지원하며, 컨텍스트 윈도우는 최대 32768 토큰까지 지원합니다.
• 테스트 중 추론 속도는 약 초당 23.5 토큰에 도달했습니다.
• 이 구성은 llama.cpp를 사용하여 두 GPU 간에 모델 로딩과 슬롯 할당을 관리합니다.

이 접근 방식은 로컬에서 대규모 언어 모델을 실행하기 위한 저비용 대안을 제공하며, VRAM이 적은 저렴한 카드보다 더 빠른 속도와 컨텍스트 용량을 제공합니다.