Un desarrollador ha lanzado mlx-serve, un servidor de inferencia local de código abierto escrito en Zig que soporta modelos MLX y GGUF. El proyecto aborda la frustración del autor con el soporte lento de modelos y funciones rotas como la llamada de herramientas en herramientas existentes.
El servidor habla las APIs de OpenAI, Anthropic y Ollama y supera a LM Studio en un +48% de media geométrica en los benchmarks de Gemma 4 y Qwen 3.6. Incluye una función de autocorrección de llamada de herramientas con detección automática y una aplicación UI nativa de Swift en su distribución DMG.
El binario único de ~7MB es de código abierto, sin telemetría, diseñado para ejecutarse eficientemente en hardware Mac.