Membenchmark Mac M5 Max 128GB untuk inferensi AI lokal

Seorang pengguna membandingkan MacBook Pro M5 Max 128GB untuk mengevaluasi kinerjanya saat menjalankan berbagai model bahasa besar (LLM) lokal. Pengujian mencakup keluarga model termasuk Gemma 4, Qwen 3.6, MiniMax M2.7, dan Mistral Medium 3.5 di berbagai format kuantisasi dan panjang konteks.

• Gemma 4 E4B mencapai prefill (PP) sebesar 4.748 dan generasi token (TG) sebesar 85,0 menggunakan MLX 8-bit, dibandingkan dengan PP 3.974 dan TG 76,1 dengan GGUF Q8.
• Qwen 3.6 27B berjalan pada 706 PP dan 17,2 TG dengan MLX Q8, sementara varian 35B A3B mencapai 2.153 PP dan 79,4 TG pada konteks 128K.
• Dekoding spekulatif dengan Draft MTP n=2 mengurangi waktu generasi untuk Qwen 27B dari 75 detik menjadi 62 detik.
• Setup multi-agent menggunakan Qwen 27B dan 35B A3B menyelesaikan tugas pembuatan situs dalam 233 detik, mengungguli kontrol model tunggal yang memakan waktu 537 detik.
• Model besar seperti Mistral Medium 3.5 128B dan DS4 DeepSeek V4 Flash diuji dengan Qwen 3.6 Flash mencapai 452 PP dan 45,2 TG.

Hasilnya memberikan data empiris tentang kemampuan perangkat keras untuk menangani ukuran model yang beragam dan tugas inferensi kompleks secara lokal.