Le développeur derrière MTPLX a publié la version 2 de l'outil, qui apporte des améliorations significatives des performances pour l'exécution de modèles MLX sur du matériel Apple Silicon. La mise à jour se concentre sur l'optimisation de la vitesse d'inférence grâce à de nouvelles implémentations de noyaux et à des fonctionnalités de gestion du cache.
- Le mode Turbo utilise des noyaux quantifiés spécialisés dans la vérification (verify-specialized quantized-matmul) et une étape de vérification compilée pour atteindre 82 tokens par seconde sur un MacBook Pro M5 Max.
- La version inclut des changements significatifs au système de cache KV SSD.
- Des améliorations ont été apportées aux capacités d'appel d'outils pour les contextes longs.
- Des benchmarks préliminaires comparant MTPLX à oMLX et DGX spark ont été fournis par Ivan Fioravanti.
Ces mises à jour visent à établir MTPLX comme un runtime haute performance pour les grands modèles de langage locaux, en particulier pour les utilisateurs recherchant des vitesses de génération plus rapides sur les appareils Mac.