한 사용자가 로컬 코딩 대형 언어 모델을 실행하기 위한 GPU 선택에 대한 조언을 구하고 있으며, 세 가지 구체적인 하드웨어 옵션을 저울질하고 있습니다. 비교는 48GB VRAM을 갖춘 수정된 RTX 4090, 듀얼 Radeon AI Pro R9700 카드, 그리고 듀얼 Intel Arc Pro B70 카드를 중심으로 이루어집니다.
- 수정된 RTX 4090 48GB: $3,500에 AD102 아키텍처 전체, 약 1TB/s 대역폭, CUDA 지원을 제공하지만 서드파티 펌웨어, 신뢰성, 보증 부재와 관련된 위험을 수반합니다.
- 2x Radeon AI Pro R9700 32GB: RDNA4 아키텍처, 640 GB/s 대역폭, PCIe 5.0, 공식 보증을 약 $1,300에 제공하지만 ROCm 호환성이 CUDA보다 덜 성숙한 것으로 언급됩니다.
- 2x Intel Arc Pro B70 32GB: Battlemage 아키텍처, 608 GB/s 대역폭, 367 TOPS INT8를 갖춘 가격은 약 $1,080이지만 FP4 지원을 결여하고 있으며 oneAPI/OpenVINO에 대한 드라이버 성숙도에 의문이 제기됩니다.
사용자는 추론과 경량 파인튜닝을 위해 초당 30-40 토큰(tps)의 속도를 달성하고자 하며, 현재 DGX Spark 설정이 초당 20 토큰에 제한되어 있다고 언급합니다.