Seorang pengguna meminta rekomendasi dan bantuan untuk menjalankan model parameter 35B menggunakan format kuantisasi NVFP4 pada GPU NVIDIA RTX 5090. Tujuannya termasuk mendukung panjang konteks lebih dari 100k token, idealnya dengan model tanpa sensor atau khusus.
- Upaya sebelumnya untuk menjalankan AEON-7 Ornith 1.0 35B Uncensored NVFP4 gagal, karena perintah serve yang direkomendasikan dioptimalkan untuk perangkat keras GDX Spark 128GB.
- Pengguna melaporkan tidak ada masalah dalam menjalankan model .gguf 35B tetapi belum berhasil mengonfigurasi vLLM untuk pengaturan spesifik ini.
Postingan tersebut menyoroti tantangan saat ini dalam menerapkan model NVFP4 berkapasitas tinggi pada perangkat keras RTX 5090 konsumen dengan jendela konteks yang diperluas.