한 사용자가 DeepSeek V4.1 모델을 NVIDIA A100 GPU에서 공식 API를 초과하는 성능으로 실행할 수 있는 사용자 지정 구현을 개발했습니다.

  • 이 프로젝트는 GitHub 저장소 shi3z/deepseekv4.1-A100-custom 에서 사용할 수 있습니다.
  • 이 성과는 주목할 만한데, A100 하드웨어는 일반적으로 이러한 최적화에 필요한 FP4 정밀도를 기본적으로 지원하지 않기 때문입니다.
  • 사용자 지정 코드는 표준 공식 API 엔드포인트와 비교하여 더 빠른 추론 속도를 제공합니다.