O artigo calcula quais grandes modelos de linguagem (LLMs) de código aberto cabem nos novos Macs da série Apple M5 (Mac mini, Mac Studio) ao analisar as restrições de memória em vez de executar benchmarks. Ele determina a capacidade com base nos tamanhos dos arquivos GGUF Q4_K_M, nos requisitos do cache KV e na sobrecarga de tempo de execução em relação à memória GPU utilizável.

  • O Mac mini M6 de 16 GB suporta 14 modelos com contexto de 8K e 10 com 32K, tendo o Gemma 4 12B como a melhor escolha.
  • O Mac mini M5 Pro de 24 GB acomoda 16 modelos em 8K e 14 em 32K, favorecendo o gpt-oss 20B.
  • O Mac Studio M5 Max de 36 GB suporta 25 modelos em 8K e 22 em 32K, com o Qwen3-Coder 30B-A3B como a opção preferida.
  • O Mac Studio M5 Ultra de 96 GB comporta 31 modelos independentemente do comprimento do contexto, sendo o Qwen3-Coder Next o maior ajuste confortável.

A análise destaca que o Mac mini de 16 GB é uma máquina de classe 12B limitada pela janela de contexto em vez do tamanho do modelo, enquanto o grande cache do Ultra torna o comprimento do contexto irrelevante para o ajuste. O autor observa que esses números não indicam a velocidade de geração, embora as diferenças de largura de banda entre os modelos sejam significativas.