Проект mistral.rs выпустил версию 0.9.0, обеспечив значительное улучшение производительности при вычислениях на CPU для архитектур x86 и ARM. Тесты моделей Qwen3 4B Q4_K показывают, что mistral.rs декодирует быстрее llama.cpp на всех измеренных глубинах контекста.

  • Обновление включает детализированные оптимизации, предназначенные для общего ускорения работы всех поддерживаемых моделей.
  • Прирост производительности применяется к процессорам различной мощности, включая процессоры x86 с AVX2 или AVX512 и процессоры ARM с NEON.
  • Тестирование проводилось путем перебора конфигураций для обоих движков, чтобы убедиться, что каждая точка представляет наилучшую возможную производительность для конкретного движка.

Выпуск позволяет пользователям запускать модели Qwen 3.5/3.6, Gemma 4 и LFM 2.5 напрямую с Hugging Face с использованием системы ISQ от mistral.rs.