ある開発者がmlx-serveをリリースしました。これはMLXおよびGGUFモデルをサポートするZigで書かれたオープンソースのローカル推論サーバーです。このプロジェクトは、既存のツールにおけるモデルサポートの遅さや、ツール呼び出しのような機能の不具合に対する著者の不満を解消するものです。

このサーバーはOpenAI、Anthropic、Ollama APIに対応し、Gemma 4およびQwen 3.6ベンチマークにおいてLM Studioよりも幾何平均で+48%の性能を示します。自動検出によるツール呼び出しの自動修正機能や、DMG配布版に同梱されたネイティブSwift UIアプリが含まれています。

単一の約7MBのバイナリはテレメトリなしのオープンソースであり、Macハードウェア上で効率的に動作するように設計されています。