Seorang pengguna telah mengembangkan implementasi kustom yang memungkinkan model DeepSeek V4.1 berjalan di GPU NVIDIA A100 dengan kinerja yang melebihi API resmi.

  • Proyek ini tersedia melalui repositori GitHub shi3z/deepseekv4.1-A100-custom.
  • Pencapaian ini patut dicatat karena perangkat keras A100 tidak mendukung presisi FP4 secara native, yang biasanya diperlukan untuk optimasi semacam itu.
  • Kode kustom memungkinkan kecepatan inferensi yang lebih cepat dibandingkan dengan titik akhir API resmi standar.