MTPLXの開発者は、Apple Siliconハードウェア上でMLXモデルを実行する際の大幅なパフォーマンス向上をもたらすツールのバージョン2をリリースしました。このアップデートは、新しいカーネル実装とキャッシュ管理機能を通じて推論速度の最適化に焦点を当てています。

  • Turbo Modeは、カスタムの検証専用量子化行列乗算カーネルとコンパイルされた検証ステップを利用し、MacBook Pro M5 Maxで毎秒82トークンの達成を実現します。
  • リリースにはSSD KVキャッシュシステムへの大幅な変更が含まれています。
  • 長期コンテキストのツール呼び出し機能の改善が行われました。
  • Ivan Fioravantiによって、MTPLXをoMLXおよびDGX sparkと比較した予備ベンチマークが提供されました。

これらのアップデートは、特にMacデバイスでより高速な生成速度を求めるユーザー向けに、ローカル大規模言語モデルの高パフォーマンスランタイムとしてのMTPLXの確立を目指しています。