LordNeel publicou conjuntos de quantização GGUF para o modelo MoE Hy3 de 295B da Tencent e o modelo híbrido MoE Nemotron-Labs-Audex-30B-A3B de 30B com capacidade de áudio da NVIDIA, fornecendo dados completos de benchmark e métricas reproduzíveis.

  • As quantizações Hy3 incluem Q6_K (226 GiB), Q4_K_M (167 GiB), Q3_K_L (143 GiB) e IQ2_M (90 GiB), com qualidade medida contra os logits de referência BF16 no WikiText-2.
  • As quantizações Nemotron-Labs-Audex oferecem GGUFs apenas para texto e arquivos audiogen com vocabulário completo, incluindo MXFP4_MOE para tamanhos de arquivo menores e maior throughput.
  • Ambos os repositórios contêm gráficos, checksums, planos de quantização e logs por quantização para garantir a reprodutibilidade sem alegações subjetivas de qualidade.

O lançamento oferece aos usuários opções transparentes e baseadas em dados para executar esses grandes modelos localmente, incluindo recomendações específicas de hardware e limitações conhecidas como fallbacks de tensor.