Model kuantisasi UD-Q2_K_XL DeepSeek V4 Flash berjalan di RTX 4090 dengan llama.cpp

Seorang pengguna melaporkan menjalankan model DeepSeek V4 Flash yang dikuantisasi menggunakan metode UD-Q2_K_XL dari unsloth pada RTX 4090 dengan RAM DDR5 128 GB melalui llama.cpp. Konfigurasi ini mencapai kecepatan generasi sebesar 10,9 tok/s, yang dianggap penulis cukup wajar untuk tugas agentic meskipun lebih lambat dibandingkan Qwen 3.6-27B.

• Penetapan inti fisik pada CPU Intel Core Ultra 7 270k menggandakan kecepatan inferensi dari 6,8 menjadi 11 tok/s.
• Menonaktifkan flash attention (`-fa off`) dan menyesuaikan kuantisasi konteks diperlukan untuk mencegah overflow buffer CUDA.
• Varian kuantisasi IQ4_NL terlalu lambat (8,1 t/s) dan dibatasi pada jendela konteks sebesar 10k.

Penulis menyarankan bahwa dengan optimasi lebih lanjut, konfigurasi ini berpotensi menggantikan Qwen 3.6-27B bagi pengguna yang memiliki GPU berkapasitas 24 GB.