Desenvolvedor lança mlx-serve, um servidor de inferência local rápido baseado em Zig

Um desenvolvedor lançou o mlx-serve, um servidor de inferência local de código aberto escrito em Zig que suporta modelos MLX e GGUF. O projeto aborda a frustração do autor com o suporte lento a modelos e recursos quebrados, como chamada de ferramentas, em ferramentas existentes.

O servidor fala as APIs da OpenAI, Anthropic e Ollama e supera o LM Studio em uma média geométrica de +48% nos benchmarks do Gemma 4 e Qwen 3.6. Ele inclui um recurso de autocorreção de chamada de ferramentas com detecção automática e um aplicativo UI nativo em Swift em sua distribuição DMG.

O binário único de ~7MB é de código aberto, sem telemetria, projetado para rodar eficientemente no hardware Mac.