LordNeel ha publicado conjuntos de cuantización GGUF para el modelo MoE Hy3 de 295B de Tencent y el modelo híbrido MoE Nemotron-Labs-Audex-30B-A3B de 30B con capacidades de audio de NVIDIA, proporcionando datos completos de benchmarks y métricas reproducibles.

  • Las cuantizaciones de Hy3 incluyen Q6_K (226 GiB), Q4_K_M (167 GiB), Q3_K_L (143 GiB) e IQ2_M (90 GiB), con la calidad medida en comparación con los logit de referencia BF16 en WikiText-2.
  • Las cuantizaciones de Nemotron-Labs-Audex ofrecen GGUFs solo para texto y archivos audiogen con vocabulario completo, incluyendo MXFP4_MOE para tamaños de archivo más pequeños y mayor rendimiento.
  • Ambos repositorios contienen gráficos, sumas de comprobación, planes de cuantización y registros por cuantización para garantizar la reproducibilidad sin afirmaciones subjetivas de calidad.

El lanzamiento proporciona a los usuarios opciones transparentes y basadas en datos para ejecutar estos grandes modelos localmente, incluyendo recomendaciones específicas de hardware y limitaciones conocidas como desvíos de tensor.