Un développeur a publié mlx-serve, un serveur d'inférence local open-source écrit en Zig qui prend en charge les modèles MLX et GGUF. Le projet répond à la frustration de l'auteur concernant le support lent des modèles et les fonctionnalités cassées comme l'appel d'outils dans les outils existants.
Le serveur prend en charge les API OpenAI, Anthropic et Ollama et bat LM Studio avec une moyenne géométrique de +48% sur les benchmarks Gemma 4 et Qwen 3.6. Il inclut une fonctionnalité de correction automatique des appels d'outils à détection automatique et une application UI native Swift dans sa distribution DMG.
Le binaire unique d'environ 7 Mo est open-source sans télémétrie, conçu pour fonctionner efficacement sur le matériel Mac.