한 사용자가 다양한 로컬 대규모 언어 모델을 실행할 때의 성능을 평가하기 위해 128GB M5 Max MacBook Pro를 벤치마킹했습니다. 테스트는 다양한 양자화 형식과 컨텍스트 길이에 걸쳐 Gemma 4, Qwen 3.6, MiniMax M2.7, Mistral Medium 3.5 등 모델 패밀리를 포함합니다.

  • MLX 8비트를 사용한 Gemma 4 E4B는 프리필(PP) 4,748과 토큰 생성(TG) 85.0을 달성했으며, GGUF Q8 대비 PP 3,974와 TG 76.1보다 우수한 성능을 보였습니다.
  • MLX Q8에서 Qwen 3.6 27B는 PP 706과 TG 17.2로 실행되었으며, 128K 컨텍스트에서 35B A3B 변형은 PP 2,153과 TG 79.4를 달성했습니다.
  • Draft MTP n=2의 추론 디코딩을 사용하면 Qwen 27B의 생성 시간이 75초에서 62초로 단축되었습니다.
  • Qwen 27B와 35B A3B를 사용한 멀티 에이전트 설정은 사이트 빌딩 작업을 233초에 완료하여, 537초가 걸린 단일 모델 제어보다 우수한 성능을 보였습니다.
  • Mistral Medium 3.5 128B 및 DS4 DeepSeek V4 Flash와 같은 대규모 모델이 테스트되었으며, Qwen 3.6 Flash는 PP 452와 TG 45.2를 달성했습니다.

이 결과는 하드웨어가 다양한 모델 크기와 복잡한 로컬 추론 작업을 처리할 수 있는 능력을 보여주는 실증 데이터를 제공합니다.