한 Reddit 사용자는 4개의 NVIDIA Blackwell GPU를 탑재하고 약 384GB의 VRAM을 제공하는 맞춤형 로컬 서버에 배포할 대규모 언어 모델을 찾기 위해 커뮤니티의 조언을 구하고 있습니다. 해당 조직은 내부 정책 관리 및 사고 작업을 위해 모델을 호스팅할 계획이며, 2~3명의 파워 사용자 및 최대 20명의 동시 사용자를 예상하고 있습니다.
게시자는 현재 DeepSeek V3 Flash에 무게를 두고 있으며, 하드웨어 사양에는 RTX PRO 6000이 4개 포함되어 있다고 언급했습니다. 또한 시스템이 8개의 Blackwell GPU로 확장될 경우 모델 선택이 어떻게 달라질 수 있는지에 대한 이해도 원하고 있습니다.
이 질문은 엔터프라이즈급 내부 AI 애플리케이션을 위한 하이엔드 로컬 추론 하드웨어에 대한 관심이 높아지고 있음을 보여줍니다.