Un utilisateur rapporte des expériences préliminaires exécutant des modèles de langage basés sur la diffusion (dLLMs), spécifiquement LLaDA2.1 et Sumi, sur du matériel Apple Silicon à l'aide d'un moteur personnalisé conçu pour les appareils M1 et M2 Ultra.
- Le débit de base établi était de 4,6–22,2 tok/s sur M1 et de 32,1–122,6 tok/s sur M2 Ultra.
- Une quantification uniforme à 4 bits a été adoptée par défaut, résultant en une empreinte modèle d'environ 9,57 Go avec un taux de retournement de confiance faible.
- Plusieurs optimisations ont été testées, y compris le cache élastique (rejeté), le masquage multi-blocs (accepté provisoirement) et la spéculation automatique via S2D2 (accepté).
- Le vote TSCV a amélioré la précision de GSM8K de 6 à 8 points de pourcentage avec zéro surcharge CPU, tandis que le décodage par crédit n'a donné que des gains négligeables.
- L'analyse du routage a révélé que les comptes d'experts distincts sont inférieurs aux prédictions, et la quantification reste nécessaire car la déquantification ralentit les performances.
L'auteur vise à construire un moteur de diffusion fonctionnel pour les appareils personnels et à acquérir une compréhension plus approfondie du fonctionnement de ces modèles.