Un colaborador añadió soporte nativo para `nemotron_h_puzzle` a mlx-lm mediante el PR #1535, permitiendo que el modelo Nemotron Puzzle 75B se ejecute en un M2 Max de 64GB. El trabajo implicó corregir el soporte de configuración por bloques, el remapeo de tensores y alinear el comportamiento de la norma/ruta FP32 de NVIDIA.
- La cuantización de expertos a 4 bits (con capas densas de 6 bits y cabeza de salida BF16) utiliza un tamaño de checkpoint de 42.03 GiB y alcanza un pico de 49.68 GB de memoria.
- La configuración de 4 bits logra una velocidad media de generación de 14.27 tok/s, en comparación con los 10.53 tok/s de la variante de 5 bits.
- Las verificaciones locales de tareas obtuvieron 24/30 para 4 bits frente a 21/30 para 5 bits, mientras que la recuperación de contexto largo fue 4/5 frente a 0/5.
- Se resolvió un error que causaba discrepancias en la salida SSM de la primera capa al igualar el límite de promoción de BF16 a FP32 de NVIDIA, mejorando la similitud del coseno a 0.999998.
- La cabeza de salida BF16 es obligatoria; cuantificar la lm_head de vocabulario de 131k a 4 bits produjo basura repetitiva.
El autor señala que el checkpoint de 5 bits se ejecuta cerca del límite superior de memoria de 64GB, lo que sugiere que configuraciones con mayor memoria podrían producir resultados diferentes.