Seorang pengguna melakukan benchmark pada model Qwen3.6-27B yang dikuantisasi dengan metode PrismaQuant baru di RTX Pro 4500 melalui Oculink untuk menyelesaikan kesalahan panggilan alat yang ditemui dengan implementasi NVFP4 sebelumnya.
Pengujian ini membandingkan PrismaSCOUT (~5,31 bit, ~20 GB) dan PrismaAURA (~5,5 bit, ~23 GB) terhadap metode kuantisasi lain menggunakan vLLM 0.24.
PrismaQuant memilih format optimal untuk setiap lapisan linear guna memaksimalkan kemampuan model pada kedalaman bit tertentu, meskipun saat ini hanya mendukung arsitektur Blackwell di vLLM.
Hasil KLD menunjukkan bahwa PrismaAURA memiliki divergensi lebih rendah dari BF16 (0,0342) dibandingkan dengan PrismaSCOUT (0,055), sambil mempertahankan presisi yang lebih tinggi dan ukuran bobot yang lebih besar.