mistral.rs v0.9.0 实现比 llama.cpp 快多达 1.8 倍的 CPU 解码速度

mistral.rs 项目发布了 0.9.0 版本，为 x86 和 ARM 架构上的基于 CPU 的推理带来了显著的性能提升。在 Qwen3 4B Q4_K 模型上的基准测试表明，在所有测量的上下文深度下，mistral.rs 的解码速度都比 llama.cpp 快。

• 此次更新包括细粒度的优化，旨在为所有支持的模型提供整体加速。
• 性能提升适用于各种能力的 CPU，包括带有 AVX2 或 AVX512 的 x86 处理器和带有 NEON 的 ARM 处理器。
• 测试通过遍历两个引擎的配置进行，以确保每个点都代表该特定引擎的最佳可能性能。

此次发布允许用户使用 mistral.rs ISQ 系统直接从 Hugging Face 运行 Qwen 3.5/3.6、Gemma 4 和 LFM 2.5 等模型。