La bibliothèque MLX a publié la version 0.32.1, introduisant le support d'une dimension de tête de 72 au sein de son implémentation d'attention complète Metal.
Apple a introduit une nouvelle architecture pour ses modèles fondamentaux de troisième génération (AFM3) qui utilise l'« Élagage de Suivi d'Instructions » pour réduire significativement le nombre de paramètres actifs. Le modèle est conçu pour activer environ 20 % de ses couches MLP en prenant des décisions de routage une fois par prompt plutôt que par token.
Apple est actuellement en discussions avec la startup PrismML concernant une technologie qui compresse les modèles d'intelligence artificielle pour leur déploiement sur des iPhones.
La bibliothèque MLX a publié la version 0.32.0, qui corrige un bug spécifique du backend Metal.
Les chercheurs présentent BaseRT, un runtime d'inférence Metal natif pour les grands modèles de langage sur Apple Silicon qui atteint le débit d'inférence le plus élevé jamais rapporté à ce jour. En utilisant la fusion de noyaux spécifique au processeur et une optimisation consciente de la mémoire unifiée, il surmonte les surcharges présentes dans les frameworks existants comme llama.cpp et MLX.
Un allocateur GPU conscient des contraintes a été comparé à un planificateur FIFO dans sept scénarios, atteignant jusqu'à 33 points de pourcentage d'utilisation GPU en plus et jusqu'à 105 % de sortie pondérée par priorité en plus sur du matériel identique. Le système traite la demande d'inférence en temps réel comme une courbe fluctuante plutôt que comme une réservation statique, permettant aux jobs de type batch de remplir la capacité pendant les creux tout en respectant des contraintes strictes telles que des blocs GPU contigus et l'absence de préemption.
Nous utilisons des cookies pour mesurer l'audience et améliorer le site. Vous pouvez accepter ou refuser les cookies analytiques. Politique de confidentialité