MTPLX V2 introduz Turbo Mode para inferência mais rápida de modelos MLX

O desenvolvedor por trás do MTPLX lançou a versão 2 da ferramenta, que traz melhorias significativas de desempenho ao executar modelos MLX em hardware Apple Silicon. A atualização foca na otimização da velocidade de inferência através de novas implementações de kernels e recursos de gerenciamento de cache.

• O Turbo Mode utiliza kernels quantized-matmul especializados em verify e um passo de verify compilado para alcançar 82 tokens por segundo em um MacBook Pro M5 Max.
• A versão inclui mudanças significativas no sistema SSD KV cache.
• Melhorias foram feitas nas capacidades de chamada de ferramentas para contexto longo.
• Ivan Fioravanti forneceu benchmarks preliminares comparando MTPLX com oMLX e DGX spark.

Essas atualizações visam estabelecer o MTPLX como um runtime de alto desempenho para modelos de linguagem grandes locais, particularmente para usuários que buscam velocidades de geração mais rápidas em dispositivos Mac.