L'article calcule quels grands modèles de langage ouverts tiennent dans les nouveaux Macs de la série Apple M5 (Mac mini, Mac Studio) en analysant les contraintes mémoire plutôt qu'en exécutant des benchmarks. Il détermine la capacité en fonction des tailles de fichiers GGUF Q4_K_M, des exigences du cache KV et de la surcharge d'exécution par rapport à la mémoire GPU utilisable.
Apple a lancé LensVLM-9B, un Modèle de Langage Visuel de 9 milliards de paramètres conçu pour traiter plus efficacement des images de texte compressées. Le modèle scanne ces entrées compressées et utilise des outils appris pour étendre sélectivement uniquement les pages pertinentes à leur forme non compressée.
Jun Kim, créateur et mainteneur d'oMLX, a rejoint Hugging Face pour soutenir la communauté MLX. Cette démarche vise à fournir de la stabilité et un développement plus rapide au projet open-source en le faisant passer d'un travail secondaire à une initiative entièrement maintenue et financée.