Un utilisateur effectue un benchmark d'un MacBook Pro M5 Max 128 Go pour évaluer ses performances lors de l'exécution de divers grands modèles de langage locaux. Les tests couvrent des familles de modèles incluant Gemma 4, Qwen 3.6, MiniMax M2.7 et Mistral Medium 3.5 à travers différents formats de quantification et longueurs de contexte.
- Gemma 4 E4B a atteint un préremplissage (PP) de 4 748 et une génération de tokens (TG) de 85,0 avec MLX 8-bit, comparé à 3 974 PP et 76,1 TG avec GGUF Q8.
- Qwen 3.6 27B a fonctionné à 706 PP et 17,2 TG avec MLX Q8, tandis que la variante 35B A3B a atteint 2 153 PP et 79,4 TG sur un contexte de 128K.
- Le décodage spéculatif avec Draft MTP n=2 a réduit le temps de génération pour Qwen 27B de 75s à 62s.
- Des configurations multi-agents utilisant Qwen 27B et 35B A3B ont terminé une tâche de construction de site en 233s, surpassant le contrôle à modèle unique qui a pris 537s.
- De grands modèles comme Mistral Medium 3.5 128B et DS4 DeepSeek V4 Flash ont été testés, Qwen 3.6 Flash ayant atteint 452 PP et 45,2 TG.
Les résultats fournissent des données empiriques sur la capacité du matériel à gérer diverses tailles de modèles et des tâches d'inférence complexes localement.