개발자가 Zig 기반의 빠른 로컬 추론 서버 mlx-serve 출시

한 개발자가 MLX 및 GGUF 모델을 지원하는 Zig로 작성된 오픈소스 로컬 추론 서버인 mlx-serve를 출시했습니다. 이 프로젝트는 기존 도구에서의 느린 모델 지원과 도구 호출 같은 기능의 오류에 대한 저자의 불만을 해소하기 위한 것입니다.

이 서버는 OpenAI, Anthropic, Ollama API를 지원하며, Gemma 4 및 Qwen 3.6 벤치마크에서 LM Studio보다 기하 평균으로 +48% 더 빠른 성능을 보입니다. 자동 감지 도구 호출 자동 수정 기능과 DMG 배포판에 포함된 네이티브 Swift UI 앱이 포함되어 있습니다.

단일 약 7MB 바이너리는 텔레메트리 없이 오픈소스이며, Mac 하드웨어에서 효율적으로 실행되도록 설계되었습니다.