Kuantisasi NVFP4 dan FP8 Qwen3.6-27B menyebabkan loop agen pada GPU Blackwell

Seorang pengguna melaporkan masalah keandalan parah saat menjalankan Qwen3.6-27B dengan kuantisasi NVFP4 dan FP8 resmi dari NVIDIA dalam alur kerja agentic, yang kontras dengan kinerja mulus pada baseline BF16.

• Model menunjukkan penghentian di tengah tugas dan loop kegagalan pada GPU RTX PRO 6000 Blackwell menggunakan vLLM 0.24.0.
• Meningkatkan penalti pengulangan gagal memutus loop, menyebabkan model bergantian antara dua frasa kegagalan yang berbeda alih-alih mengulang satu frasa.
• Kuantisasi NVFP4 menunjukkan degradasi yang jauh lebih sering dibandingkan FP8, sementara BF16 tetap tidak terpengaruh.

Penulis mencari konfirmasi apakah masalah ini merupakan artefak yang diketahui dari kuantisasi bit-rendah untuk model berpikir atau apakah penyesuaian konfigurasi vLLM tertentu dapat menyelesaikannya.