이 기사는 벤치마크 실행 대신 메모리 제약을 분석하여 새로운 애플 M5 시리즈 맥(Mac mini, Mac Studio)에 맞는 오픈 대규모 언어 모델을 계산합니다. 사용 가능한 GPU 메모리를 기준으로 Q4_K_M GGUF 파일 크기, KV 캐시 요구 사항 및 런타임 오버헤드를 기반으로 용량을 결정합니다.

  • 16GB Mac mini M6은 8K 컨텍스트에서 14개 모델, 32K에서 10개를 지원하며, 최상위 선택은 Gemma 4 12B입니다.
  • 24GB Mac mini M5 Pro는 8K 컨텍스트에서 16개 모델, 32K에서 14개를 적합하게 하며, gpt-oss 20B를 선호합니다.
  • 36GB Mac Studio M5 Max는 8K 컨텍스트에서 25개 모델, 32K에서 22개를 수용하며, Qwen3-Coder 30B-A3B가 선호 옵션입니다.
  • 96GB Mac Studio M5 Ultra는 컨텍스트 길이에 관계없이 31개 모델을 지원하며, Qwen3-Coder Next가 가장 편안하게 적합하는 최대 모델입니다.

이 분석은 16GB Mac mini가 모델 크기보다 컨텍스트 창에 의해 제한되는 12B급 머신임을 강조하며, Ultra의 대규모 캐시는 컨텍스트 길이가 적합성에 무관함을 의미합니다. 저자는 이러한 수치가 생성 속도를 나타내지는 않지만, 모델 간 대역폭 차이가 크다고 언급합니다.