あるユーザーが、さまざまなローカル大規模言語モデルの実行性能を評価するために、128GB M5 Max MacBook Proのベンチマークを行いました。テストは、異なる量子化形式とコンテキスト長にわたって、Gemma 4、Qwen 3.6、MiniMax M2.7、Mistral Medium 3.5などのモデルファミリーを対象としています。

  • Gemma 4 E4Bは、MLX 8-bitでプリフィル（PP）4,748とトークン生成（TG）85.0を達成し、GGUF Q8ではPP 3,974とTG 76.1でした。
  • Qwen 3.6 27BはMLX Q8でPP 706とTG 17.2で動作し、35B A3Bバリアントは128KコンテキストでPP 2,153とTG 79.4を達成しました。
  • ドラフトMTP n=2の推論デコーディングにより、Qwen 27Bの生成時間が75秒から62秒に短縮されました。
  • Qwen 27Bと35B A3Bを使用したマルチエージェントセットアップは、サイト構築タスクを233秒で完了し、537秒かかった単一モデルの制御よりも優れていました。
  • Mistral Medium 3.5 128BやDS4 DeepSeek V4 Flashなどの大規模モデルがテストされ、Qwen 3.6 FlashはPP 452とTG 45.2を達成しました。

これらの結果は、ハードウェアが多様なモデルサイズと複雑な推論タスクをローカルで処理する能力に関する実証データを提供しています。