Seorang pengembang telah berhasil menjalankan model DeepSeek V4 Flash pada satu GPU NVIDIA RTX 6000 Pro dengan memanfaatkan versi kustom dari vLLM yang disebut vLLM-Moet. Pencapaian ini dimungkinkan melalui teknik kompresi khusus yang memungkinkan model bahasa besar muat ke dalam VRAM terbatas perangkat konsumen.

  • Metode ini melibatkan kompresi ahli yang dialihkan menjadi 2-bit sambil tetap mempertahankan ahli fp4, memungkinkan model dimuat sepenuhnya ke satu GPU.
  • Pemuatan awal membutuhkan sekitar 150 GB RAM atau ruang swap tambahan untuk menangani sharding safetensor sebelum model dipindahkan ke VRAM.
  • Benchmark pada RTX 6000 Pro menunjukkan kecepatan generasi token berkisar antara sekitar 100 hingga 134 token per detik tergantung pada panjang konteks.
  • Teknik ini juga reportedly mendukung GLM 5.2, meskipun konfigurasi tersebut membutuhkan setidaknya dua GPU RTX 6000 Pro.

Pencapaian ini menunjukkan bahwa model berkinerja tinggi seperti DeepSeek V4 Flash dapat diakses pada GPU konsumen tunggal melalui modifikasi mesin khusus dan kompresi ahli.