mistral.rs v0.9.0 atteint un décodage CPU jusqu'à 1,8x plus rapide que llama.cpp

Le projet mistral.rs a publié la version 0.9.0, apportant des améliorations de performance significatives pour l'inférence basée sur le CPU sur les architectures x86 et ARM. Les benchmarks sur les modèles Qwen3 4B Q4_K montrent que mistral.rs décode plus rapidement que llama.cpp à chaque profondeur de contexte mesurée.

• La mise à jour inclut des optimisations granulaires conçues pour fournir des accélérations générales pour tous les modèles pris en charge.
• Les gains de performance s'appliquent aux CPU de diverses capacités, y compris les processeurs x86 avec AVX2 ou AVX512 et les processeurs ARM avec NEON.
• Les tests ont été effectués en balayant les configurations des deux moteurs pour s'assurer que chaque point représentait la meilleure performance possible pour ce moteur spécifique.

La release permet aux utilisateurs d'exécuter des modèles comme Qwen 3.5/3.6, Gemma 4 et LFM 2.5 directement depuis Hugging Face en utilisant le système ISQ de mistral.rs.