Pengembang merilis mlx-serve, server inferensi lokal cepat berbasis Zig

Seorang pengembang telah merilis mlx-serve, sebuah server inferensi lokal open-source yang ditulis dalam Zig dan mendukung model MLX serta GGUF. Proyek ini mengatasi frustrasi penulis terhadap dukungan model yang lambat dan fitur yang rusak seperti pemanggilan alat pada alat yang ada.

Server ini mendukung API OpenAI, Anthropic, dan Ollama serta mengalahkan LM Studio dengan rata-rata geometris +48% di benchmark Gemma 4 dan Qwen 3.6. Server ini mencakup fitur koreksi otomatis pemanggilan alat dengan deteksi otomatis dan aplikasi UI Swift native dalam distribusi DMG-nya.

Biner tunggal berukuran sekitar 7MB ini bersifat open-source tanpa telemetri, dirancang untuk berjalan secara efisien pada perangkat keras Mac.