mistral.rs v0.9.0 logra hasta 1,8 veces más velocidad de decodificación en CPU que llama.cpp

El proyecto mistral.rs lanzó la versión 0.9.0, ofreciendo mejoras significativas de rendimiento para inferencia basada en CPU en arquitecturas x86 y ARM. Las pruebas con modelos Qwen3 4B Q4_K demuestran que mistral.rs decodifica más rápido que llama.cpp a cada profundidad de contexto medida.

• La actualización incluye optimizaciones detalladas diseñadas para proporcionar aceleraciones generales para todos los modelos compatibles.
• Las ganancias de rendimiento se aplican a CPUs de diversas capacidades, incluyendo procesadores x86 con AVX2 o AVX512 y procesadores ARM con NEON.
• Las pruebas se realizaron realizando un barrido de configuraciones para ambos motores para asegurar que cada punto representara el mejor rendimiento posible para ese motor específico.

El lanzamiento permite a los usuarios ejecutar modelos como Qwen 3.5/3.6, Gemma 4 y LFM 2.5 directamente desde Hugging Face utilizando el sistema ISQ de mistral.rs.