러시아의 한 사용자는 예상되는 인터넷 제한으로 인해 완전히 오프라인인 AI 리그를 구축할 계획이며, 하드웨어 및 성능 최적화에 대한 조언을 찾고 있습니다. 제안된 구성에는 Intel Xeon 2683v4 CPU 2개, DDR4 ECC RAM 256GB, NVIDIA V100 16GB GPU 1개가 포함되며 예상 예산은 $1500입니다.
- 대상 모델에는 Deepseek V4 Flash (284B)와 MiMo V2.5 (310B)가 포함되며, 전자에 대한 CPU 전용 추론은 초당 6~7 토큰으로 추정됩니다.
- 사용자는 Qwen3.5 9B 모델에 대한 예비 테스트에서 ik_llama.cpp를 사용하면 표준 llama.cpp보다 프롬프트 처리 속도가 두 배가 되었다고 보고했습니다.
- 수집된 최적화 팁에는 배치 크기 구성, OMP_WAIT_POLICY=ACTIVE 설정 및 MTP 모델 활용이 포함됩니다.
- 프로세서 간 통신 지연과 향후 GPU 확장을 위한 8개 메모리 채널을 지원하는 메인보드의 가용성에 대한 우려가 남아 있습니다.