mistral.rs v0.9.0 mencapai decode CPU hingga 1,8x lebih cepat daripada llama.cpp

Proyek mistral.rs merilis versi 0.9.0, memberikan peningkatan kinerja signifikan untuk inferensi berbasis CPU di seluruh arsitektur x86 dan ARM. Benchmark pada model Qwen3 4B Q4_K menunjukkan bahwa mistral.rs mendecode lebih cepat daripada llama.cpp pada setiap kedalaman konteks yang diukur.

• Pembaruan ini mencakup optimasi granular yang dirancang untuk memberikan percepatan umum untuk semua model yang didukung.
• Peningkatan kinerja berlaku untuk CPU dengan berbagai kemampuan, termasuk prosesor x86 dengan AVX2 atau AVX512 dan prosesor ARM dengan NEON.
• Pengujian dilakukan dengan menyapu konfigurasi untuk kedua mesin untuk memastikan setiap titik mewakili kinerja terbaik yang mungkin untuk mesin tersebut.

Rilis ini memungkinkan pengguna menjalankan model seperti Qwen 3.5/3.6, Gemma 4, dan LFM 2.5 langsung dari Hugging Face menggunakan sistem ISQ mistral.rs.