mistral.rsプロジェクトがバージョン0.9.0をリリースし、x86およびARMアーキテクチャにおけるCPUベースの推論で大幅なパフォーマンス向上をもたらしました。Qwen3 4B Q4_Kモデルでのベンチマークでは、mistral.rsがすべての測定されたコンテキスト深度においてllama.cppよりも高速にデコードすることが示されました。

  • このアップデートには、サポートされているすべてのモデルに一般的な速度向上を提供するために設計された微細な最適化が含まれています。
  • パフォーマンスの向上は、AVX2またはAVX512を搭載したx86プロセッサやNEONを搭載したARMプロセッサなど、さまざまな能力を持つCPUに適用されます。
  • テストでは、各エンジンが特定の条件下で可能な最高のパフォーマンスを発揮するように、両方のエンジンの構成をスweepして検証されました。

今回のリリースにより、ユーザーはmistral.rsのISQシステムを使用して、Qwen 3.5/3.6、Gemma 4、LFM 2.5などのモデルをHugging Faceから直接実行できるようになります。