Разработчик выпустил mlx-serve, сервер локального инференса с открытым исходным кодом, написанный на Zig, который поддерживает модели MLX и GGUF. Проект решает проблему разочарования автора из-за медленной поддержки моделей и сломанных функций, таких как вызов инструментов, в существующих инструментах.
Сервер поддерживает API OpenAI, Anthropic и Ollama и превосходит LM Studio на +48% по геометрическому среднему в бенчмарках Gemma 4 и Qwen 3.6. Он включает функцию автокоррекции вызова инструментов с автоматическим обнаружением и нативное приложение UI на Swift в дистрибутиве DMG.
Одиночный бинарный файл размером ~7MB имеет открытый исходный код, не собирает телеметрию и предназначен для эффективной работы на оборудовании Mac.