한 사용자가 GLM 5.2 모델을 로컬에서 실행하기 위한 광범위한 하드웨어 업그레이드 과정을 상세히 설명하며, 최종적으로 AMD Radeon Pro W6800 GPU 5대와 NVIDIA RTX 5090 1대로 구성된 시스템을 완성했습니다.
- 저자는 처음에 RTX 5090 2대를 사용했지만 복잡한 작업에는 VRAM이 부족함을 발견했습니다.
- 업그레이드에는 Threadripper Pro 9975WX, WRX90 Sage SE 마더보드 및 여러 AMD Radeon Pro W6800 카드가 포함되었습니다.
- 열 문제로 인해 병렬 GPU 구성을 포기하고 오픈 케이스 디자인으로 전환했습니다.
- 최종 5x Pro 6000 + 5090 구성은 풍부한 컨텍스트로 98–99%의 작업 완료율을 달성했습니다.
- GPU는 풀 로드 시 70–75°C에 도달하여 두 번째 PSU와 광범위한 냉각 솔루션이 필요했습니다.
저자는 이 구성이 GLM 5.2 및 Kimi 모델을 실행하는 데 필요한 모든 기능적 요구사항을 충족하지만 재정적으로 비현실적이며, 회수 기간이 10년 이상 걸릴 것으로 추정하고 있습니다.