Участник добавил нативную поддержку `nemotron_h_puzzle` в mlx-lm через PR #1535, что позволило запустить модель Nemotron Puzzle 75B на устройстве с 64 ГБ памяти M2 Max. Работа включала исправление поддержки блочной конфигурации, переназначение тензоров и согласование поведения нормализации/маршрутизации FP32 от NVIDIA.
- Квантование экспертов в 4 бита (с плотными слоями на 6 бит и выходным заголовком BF16) использует размер чекпоинта 42.03 ГиБ и достигает пика потребления памяти в 49.68 ГБ.
- Конфигурация с 4 битами обеспечивает среднюю скорость генерации 14.27 ток/с, по сравнению с 10.53 ток/с для варианта на 5 бит.
- Локальные проверки задач показали результат 24/30 для 4 бит против 21/30 для 5 бит, в то время как извлечение информации по длинному контексту составило 4/5 против 0/5.
- Ошибка, вызывавшая расхождения в выходе SSM первого слоя, была устранена путем согласования границы повышения разрядности от BF16 к FP32 у NVIDIA, что улучшило косинусное сходство до 0.999998.
- Выходной заголовок BF16 является обязательным; квантование lm_head с вокабуляром в 131k элементов до 4 бит приводило к повторяющемуся мусору.
Автор отмечает, что чекпоинт на 5 бит работает близко к пределу в 64 ГБ памяти, предполагая, что конфигурации с большим объемом памяти могут дать иные результаты.