Пользователь тестирует MacBook Pro M5 Max с 128 ГБ, чтобы оценить его производительность при запуске различных локальных больших языковых моделей. Тестирование охватывает семейства моделей, включая Gemma 4, Qwen 3.6, MiniMax M2.7 и Mistral Medium 3.5, в разных форматах квантования и длинах контекста.
- Gemma 4 E4B достигла предварительной обработки (PP) 4 748 и генерации токенов (TG) 85.0 с использованием MLX 8-bit, по сравнению с 3 974 PP и 76.1 TG при использовании GGUF Q8.
- Qwen 3.6 27B работала со скоростью 706 PP и 17.2 TG с MLX Q8, в то время как вариант 35B A3B достиг 2 153 PP и 79.4 TG при контексте 128K.
- Специкулятивное декодирование с Draft MTP n=2 сократило время генерации для Qwen 27B с 75 до 62 секунд.
- Многоагентные конфигурации, использующие Qwen 27B и 35B A3B, выполнили задачу по созданию сайта за 233 секунды, превзойдя контроль с одной моделью, который занял 537 секунд.
- Большие модели, такие как Mistral Medium 3.5 128B и DS4 DeepSeek V4 Flash, были протестированы, при этом Qwen 3.6 Flash достигла 452 PP и 45.2 TG.
Результаты предоставляют эмпирические данные о возможностях оборудования обрабатывать разнообразные размеры моделей и сложные задачи вывода локально.