r/LocalLLaMA의 한 사용자는 현재 i5-8500, DDR4 48GB, VRAM 12GB가 탑재된 RTX 3060이 포함된 환경에 두 번째 RTX 3060을 추가하는 것을 고려하고 있습니다. 현재 Gemma 4 26B-A4B (Q4_K_M)를 실행 중이지만 통찰력이 부족하다고 느끼며, 31B 모델은 VRAM 부족으로 인해 너무 느립니다.

  • 사용자는 RTX 3060 두 개로 31B 밀집 모델의 Q4 또는 Q5 양자화 버전을 로드할 수 있는지 알고 싶어 합니다.
  • 두 번째 PCIe 슬롯이 x16 대신 x4로 배선되어 있어 발생할 수 있는 성능 저하를 우려하고 있습니다.
  • 사용자는 x4 슬롯의 제한된 대역폭으로 인한 병목 현상을 완화하기 위해 레이어 분할(layer splitting)이 도움이 될지 묻고 있습니다.