mistral.rs v0.9.0 alcança até 1,8x mais velocidade de decodificação na CPU que llama.cpp

O projeto mistral.rs lançou a versão 0.9.0, entregando melhorias significativas de desempenho para inferência baseada em CPU nas arquiteturas x86 e ARM. Os benchmarks nos modelos Qwen3 4B Q4_K demonstram que o mistral.rs decodifica mais rápido que o llama.cpp em cada profundidade de contexto medida.

• A atualização inclui otimizações granulares projetadas para fornecer acelerações gerais para todos os modelos suportados.
• Os ganhos de desempenho aplicam-se a CPUs de várias capacidades, incluindo processadores x86 com AVX2 ou AVX512 e processadores ARM com NEON.
• Os testes foram conduzidos fazendo uma varredura nas configurações de ambos os motores para garantir que cada ponto representasse o melhor desempenho possível para aquele motor específico.

O lançamento permite que os usuários executem modelos como Qwen 3.5/3.6, Gemma 4 e LFM 2.5 diretamente do Hugging Face usando o sistema ISQ do mistral.rs.