В статье рассчитывается, какие открытые большие языковые модели помещаются в новые Mac серии Apple M5 (Mac mini, Mac Studio), путём анализа ограничений памяти, а не запуска бенчмарков. Вместимость определяется на основе размеров файлов GGUF формата Q4_K_M, требований к KV-кэшу и накладных расходов во время выполнения относительно доступной видеопамяти GPU.

  • Mac mini M6 с 16 ГБ памяти поддерживает 14 моделей при контексте 8K и 10 моделей при 32K, предпочтительным выбором является Gemma 4 12B.
  • Mac mini M5 Pro с 24 ГБ памяти вмещает 16 моделей при 8K и 14 при 32K, отдавая предпочтение gpt-oss 20B.
  • Mac Studio M5 Max с 36 ГБ памяти поддерживает 25 моделей при 8K и 22 при 32K, предпочтительным вариантом является Qwen3-Coder 30B-A3B.
  • Mac Studio M5 Ultra с 96 ГБ памяти вмещает 31 модель независимо от длины контекста, при этом Qwen3-Coder Next является самой крупной удобной для размещения моделью.

Анализ показывает, что Mac mini на 16 ГБ — это машина класса 12B, ограниченная окном контекста, а не размером модели, тогда как большой кэш Ultra делает длину контекста незначительной для вместимости. Автор отмечает, что эти цифры не указывают на скорость генерации, хотя различия в пропускной способности между моделями существенны.