mistral.rs 프로젝트가 버전 0.9.0을 출시하여 x86 및 ARM 아키텍처 전반의 CPU 기반 추론에 상당한 성능 개선을 제공했습니다. Qwen3 4B Q4_K 모델에 대한 벤치마크는 mistral.rs가 측정된 모든 컨텍스트 깊이에서 llama.cpp보다 더 빠르게 디코딩함을 보여줍니다.

  • 업데이트에는 지원되는 모든 모델에 일반적인 속도 향상을 제공하도록 설계된 세분화된 최적화가 포함됩니다.
  • 성능 향상은 AVX2 또는 AVX512가 있는 x86 프로세서와 NEON이 있는 ARM 프로세서를 포함한 다양한 능력을 가진 CPU에 적용됩니다.
  • 테스트는 각 지점이 해당 특정 엔진에 대해 가능한 최고의 성능을 나타내도록 두 엔진의 구성을 스윕하여 수행되었습니다.

이번 릴리스를 통해 사용자는 mistral.rs ISQ 시스템을 사용하여 Qwen 3.5/3.6, Gemma 4, LFM 2.5와 같은 모델을 Hugging Face에서 직접 실행할 수 있습니다.