Seorang pengembang berbagi kesan awal menggunakan versi kuantisasi 3-bit dari model Mistral Medium 3.5 untuk tugas pemrograman. Pengguna melaporkan bahwa model tersebut mengidentifikasi masalah dalam proyek mereka yang dilewati oleh model harian sebelumnya, menggambarkan kinerjanya sebagai "sangat baik" meskipun lebih lambat daripada model Mixture-of-Experts (MoE).
- Kuantisasi: Unsloth Q3_KS dengan cache KV dikuantisasi ke q8_0 dan nilai ke q5_0.
- Kinerja: Mencapai 8 token per detik dengan jendela konteks 80k.
- Kemampuan: Berhasil menemukan kesalahan dalam kode yang dilewatkan oleh model sebelumnya pengguna.
Postingan ini berfungsi sebagai pertanyaan komunitas, meminta pengembang lain untuk berbagi pengalaman dan pemikiran mereka tentang menggunakan konfigurasi model dense spesifik ini untuk pengembangan perangkat lunak.